為什么JSON.parse會損壞大數字,如何解決這個問題?
從10多年前JSON在線編輯器的早期開始,用戶經常反映編輯器有時會破壞他們JSON文檔中的大數字的問題。直到現在,我們也沒能解決這個問題。在這篇文章中,我們深入解釋了這個問題,并展示如何在JSON Editor Online中解決這個問題。
大數字的問題
大多數 Web 應用程序處理來自服務器的數據。這些數據以純文本的JSON文檔形式被接收,并被解析成一個JavaScript對象或數組,這樣我們就可以讀取屬性并做一些事情。通常情況下,數據的解析是使用JSON.parse函數進行的,該函數內置于JavaScript中,非常快速和方便。
JSON數據格式極其簡單,而且它是JavaScript的一個子集。所以它與JavaScript完全可以互換。你可以將一個JSON文檔粘貼到一個JavaScript文件中,這就是有效的JavaScript。
在JavaScript中使用JSON應該不會出現任何問題,但有一種棘手的情況可能會破壞數據:大數字。這是一個有效的JSON字符串:
當我們將其解析為JavaScript并讀取 "count" 鍵時,我們會得到:
解析后的數值被破壞了:最后三位數字被重置為零。這是否是一個問題,取決于這些最后的數字是否確實有意義,但一般來說,知道這種情況可能會發生,可能會給你一種不舒服的感覺。
為什么大數字會被JSON.parse破壞?
像 9123372036854000123? 這樣的長數字既是有效的 JSON 也是有效的 JavaScript。當JavaScript 將數值解析為數字時,事情就出錯了。最初,JavaScript 只有一種數字類型。Number?。這是一個64位的浮點值,類似于C++、Java或C#中的Double值。這種浮點值可以存儲大約16位數字。因此,它不能完全代表像9123372036854000123這樣的數字,它有19位數字。在這種情況下,最后三位數字會丟失,破壞了該值。
在用浮點數存儲分數時也會發生同樣的情況:當你在 JavaScript 中計算 1/3時,結果是:
在現實中,該值應該有無限的小數,但 JavaScript 的數字在大約 16位 之后就停止了。
那么,JSON文檔中像9123372036854000123?這樣的大數字是怎么來的呢?嗯,其他語言如Java或C#確實有其他數字數據類型,如Long。Long是一個64位的值,可以容納最多20位的整數。它能容納更多數字的原因是,它不需要像浮點值那樣存儲指數值。因此,在像Java這樣的語言中,你可以有一個Long值,它不能在JavaScript的Number類型中正確表示,或者在其他語言中的Double類型中正確表示。
JavaScript 的 Number(或者更好:任何浮點數值)還有一些限制:數值可以溢出或下溢。例如,1e+500?會變成Infinity?,而1e-500?會變成0。不過,這些限制在實際應用程序中很少成為問題。
如何防止數字被 JSON.parse 破壞?
多年來,這個用 JavaScript 解析大數字的問題一直是https://jsoneditoronline.org/ 的用戶反復要求的。像大多數基于網絡的JSON編輯器一樣,它也使用了本地的JSON.parse函數和常規的JavaScript數字,所以它受到了上述的限制。
第一個想法可能是:等等,但是 JSON.parse? 有一個可選的reviver?參數,允許你用不同的方式來解析內容。但問題是,首先文本被解析成一個數字,接下來,它被傳遞給reviver。所以到那時,已經太晚了,值已經被破壞了。
為了解決這個問題,根本不能使用內置的JSON.parse,必須使用一個不同的JSON解析器。對此有各種優秀的解決方案:lossless-json、json-bigint、js-jon-bigint或json-source-map。
這些庫中的大多數都采取了務實的方法,將長數字直接解析為JavaScript相對較新的BigInt數據類型。lossless-json庫是專門為JSON Editor Online開發的。它采取了比JSON BigInt解決方案更加靈活和強大的方法。
默認情況下,lossless-json 將數字解析成一個輕量級的LosslessNumber?類,該類將數字值作為一個字符串持有。這保留了任何數值,甚至還保留了格式化,比如數值4.0?中的尾部零。當對其進行操作時,LosslessNumber?將被轉換為Number?或BigInt,或者在不安全時拋出一個錯誤。
該庫允許你傳遞你自己的數字解析器,所以你可以應用你自己的策略來處理數字值。也許你想把長的數字值轉換成BigInt,或者把數值傳給某個BigNumber庫。你可以選擇是否要在數字信息丟失時拋出一個異常,或者默默地忽略某些類別的信息丟失。
因此,比較本地JSON.parse?函數和lossless-json,會得到以下結果:
使用LosslessJSON解析器是否能解決所有問題?
答案是并不能。這取決于你在解析數據后想做什么,但通常情況下,你想用它做一些事情。在屏幕上顯示數據,驗證它,比較它,排序它,等等。例如,在JSON Editor Online中,你可以編輯數值,轉換文檔(查詢、過濾、排序等),比較兩個文檔,或者根據JSON模式驗證一個文檔。一旦你引入BigInt值或LosslessNumbers,你想執行的所有操作都需要支持這些類型的值。
擁有 BigInt 值或 LosslessNumbers 的數據很可能給不了解這些數據類型的第三方庫帶來問題。例如,JSON Editor Online支持將你的JSON數據導出到CSV,并使用優秀的json2csv庫來實現。
這個庫不知道BigInt?或LosslessNumber?類型,不會正確串聯這些數據類型。為了使其正常工作,包含LosslessNumbers?或BigInt值的JSON數據必須首先被轉換為該庫所能理解的數據。
即使沒有第三方庫的參與,與BigInt值一起工作也會導致棘手的問題。當對大整數和普通數字的混合操作時,JavaScript可以默默地將一種數字類型強制轉化為另一種,這可能會導致錯誤。下面的代碼例子顯示了這是如何出錯的。
在這個例子中,你看到兩個常數??a?
??和??b?
??持有相同的數字值。但是一個是數字,另一個是BigInt,用這些東西和普通的操作符(如??==?
??和??>?
?)一起使用會導致錯誤的結果。
結論:要讓大數字在一個應用程序中工作,可能需要大量的努力。因此,最好的辦法是盡量避免在一開始就處理這些問題。
如果你真的要處理大數值,你必須使用一個替代的JSON分析器,如??lossless-json?
??。為了防止陷入與擁有??BigInt?
??或??LosslessNumber?
?數據類型有關的難以調試的問題,使用TypeScript明確定義你的數據模型是很有幫助的。這樣,你就可以事先知道哪些地方需要能夠處理這些特殊的數據類型,你就可以采取行動,而不是讓你的應用程序默默地失敗。
在線JSON編輯器現在可以安全地處理大數字了
從今天起,JSON Editor Online已經完全支持大數字,所以你不必再擔心損壞的數值。它已經集成了lossless-json庫,并確保編輯器的所有功能都能處理大數字:從格式化、排序和查詢到導出到CSV。作為一個副作用,它現在甚至保持了數字的格式化,而且由于新的LosslessJSON解析器,現在可以檢測到重復的鍵。
試一試:https://jsoneditoronline.org/#left=json.%7B%20%22using%22:%20%22Lossless%20JSON%20Parser%22,%20%22formatted%20number%22:%204.0,%20%22long%22:%209123372036854000123,%20%22large%22:%201e500,%20%22small%22:1e-500%20%7D
現在,使用lossless-json有一個缺點:它比原生內置的JSON.parse慢得多。這只是大的JSON對象或數組的問題,對于大于10MB的文件,它可能會很明顯。為了仍能順利地處理大文件,JSON Editor Online允許你選擇你想使用的解析器,默認情況下,它會自動為你選擇最合適的解析器。