在 Node JS 中处理 10 GB JSON 文件

Question

我有一个json文件，该文件的结构如下：

{
"orders":[
 {
  "id": 876876876,
  "app_id":580714,
  "client_details": {},
  "discount_codes": [{}],
  "line_items": [
        {
          "id": 466157049,
          ...
        }
   ],
   ...... 
 },
 {
   "id": 47844583,
   "app_id":580714,
   "client_details": {},
   "discount_codes": [{}],
   "line_items": [
        {
          "id": 466157049,
           ...
        }],
     ....
 },
 {...},
 {...},
 {...}
 ]
}

这个数组可以包含超过 100 万（100 万）个对象。目前我需要：

• 查找具有订单 ID 的对象
• 订单总数
• 获取带有订单id和数量限制的订单

我正在使用以下代码：

 return new Promise((resolve, reject) => {
        var orders = []
        var getStream = function () {
            var stream = fs.createReadStream(file_path, { encoding: 'utf8' }),
                parser = JSONStream.parse('*');
            return stream.pipe(parser);
        };
    
        getStream()
        .pipe(es.mapSync(function (data) {
            
            orders = data
        })) .on('end', function() {
            
            resolve(orders)

        })
})

但这会使系统挂起。另外，我也使用了以下命令：

 node --max-old-space-size=8192 index.js

但这也行不通。谁能帮我处理这么大的json文件。

已编辑： 现在文件大小为 850MB，我正在使用以下代码：

return new Promise((resolve, reject) => {
  var data = ''
        var reader_stream = fs.createReadStream(file_path) 
        reader_stream.setEncoding('UTF8')

        reader_stream.on('data', function(chunk) {
            data += chunk
        })

        reader_stream.on('end',function() {
            try{
                const orders_result = JSON.parse(data)
                var order_count     = (orders_result.orders)

                resolve({
                    "count": order_count.length
                })
            } catch(err) {
                console.log(err)
            }
        })

        reader_stream.on('error', function(err) {
            console.log(err.stack)
            reject(err.stack)
        })
})

并得到以下错误

未捕获的异常：RangeError：无效的字符串长度

Answer 1

JSON.parse 需要将整个文件读入内存，包括应用程序不需要的部分。一种方法是使用类似 SAX 的解析器，例如 clarinet。这些解析器不会将整个文件读入内存，它们会在解析过程中生成事件。您需要处理这些事件以检查数据是否感兴趣，并仅存储您实际需要的信息。

这会减少解析过程所需的内存量，但不是那么方便。你的操作听起来你不需要所有的数据，所以也许你很幸运，一个精简的版本可以放入内存。