【问题标题】:NodeJS JSON.parse(...) takes forever to finish (under debugger in WebStorm)NodeJS JSON.parse(...) 需要永远完成(在 WebStorm 的调试器下)
【发布时间】:2013-11-02 22:50:05
【问题描述】:

编辑

这个问题似乎与 WebStorm 本身有关,它似乎不想处理包含大量嵌套对象的对象。它也不想在 Watches 窗口中显示对象内容。这个问题有点奇怪,因为我能够检查字符串,它的加载速度非常快。似乎是 WebStorm 问题


我有一个比较大的 JSON 文件 4.9mb,我需要在 NodeJS 中处理,该文件存储在文件系统中,并使用以下代码行加载:

var path = require('path');

var filename = path.join(__dirname, 'db_asci.json');
var fs = require('fs');

var content = fs.readFileSync(filename);

debugger;
var decycledObj = JSON.parse(content);
debugger;

问题是在第一个debugger;断点被命中后,第二个没有,我等了20多分钟什么也没有,一个处理器核心100%加载。我无法调试该函数,因为它是本机的。

Here 是 JSON 的 ASCI 版本

Here 是 JSON 的 UTF8 版本

我做错了什么?

【问题讨论】:

    标签: json node.js webstorm


    【解决方案1】:

    您遇到的问题是不是 JSON 解析耗时过长。确实,试试这个:

    var start = Date.now();
    var obj = JSON.parse(fs.readFileSync(filename));
    console.log('Took', Date.now() - start, 'ms');
    

    您可能会看到不到一秒左右。

    您遇到的问题是调试器本身——观察者效应。观察系统的行为会改变系统。

    我假设您正在使用节点检查器。每当您有一个非常大、非常复杂的对象时,将对象加载到检查器中是非常昂贵的。这样做时,您的节点进程将锁定 CPU 并暂停事件循环。

    我的猜测是 JSON 被解析并创建了一个巨大的(假设我们正在处理 5MB)对象。节点然后点击第二个debugger,检查器需要加载本地。极其缓慢的过程开始了,检查器在完成之前不会显示您已经遇到断点。所以对你来说,它看起来只是冻结了。

    尝试将您的 JSON 文件替换为较小的文件(例如 {a:1})。它应该会很快加载。


    您真的需要目视检查整个对象吗?有些工具更适合查看 JSON 文件。

    【讨论】:

    • 但是我能够观察到字符串(我正在使用 WebStorm),字符串的大小也是 5mb,并且加载速度与...一样快...嗯,加载速度很快.. .
    • 但这似乎是一个调试器问题,所以你的帖子似乎是问题的答案。
    【解决方案2】:

    +1 用于 Pradeep Mahdevu 解决方案,这是同一件事的另一种方法,(使用异步版本编辑)

    var fs = require ('fs');
    var options = { encoding: 'utf8' };
    var jsonData = fs.readFile('db_asci.json', options, function (err, data) {
      if (err) throw err;
      var object = JSON.parse(data);
    });
    

    【讨论】:

    • 这与 OP 的原始解决方案有何不同?
    • readFileSync 只是 .... 没有 stackoverflow.com/questions/13822085/…
    • @f0x-这也不是问题所在。这是关于解析时间的。
    • 我下载了他发布的文件,运行了这 3 行代码,不到一秒就成功了。如果您的内容变量不为空,也许您可​​以签入第一个调试。唯一的区别是路径和编码参数。
    【解决方案3】:

    您可以require .json 文件。所以,不需要解析。

    var content = require('./db_asci.json');
    

    应该这样做!

    【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2016-07-13
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-12-07
    • 2023-04-08
    • 1970-01-01
    相关资源
    最近更新 更多