为什么解析 YAML 比同等/大量的 JSON 慢？答案

【问题标题】：Why is parsing YAML slower than an equivalent/larger amount of JSON?为什么解析 YAML 比同等/大量的 JSON 慢？
【发布时间】：2023-03-18 15:51:02
【问题描述】：

我在两个小时前启动了这段代码：

python -c "import sys, yaml, json; json.dump(yaml.load(sys.stdin), sys.stdout, indent=4)" < input.yaml > output.json

我有一个 450 MB 的 YAML 文件，在此转换中浪费的时间实在令人难以置信（实际上仍在转换中）在我使用 2 MB 的 YAML 测试文件测试代码之前（在互联网上找到的代码）。我收到了一个 9 MB 的转换后的 JSON 文件。这对我来说真的很奇怪（JSON 需要更多空间），但奇怪的是 python 打开 2 MB YAML 文件比打开 9 MB 的 JSON 文件浪费更多时间。 JSON 文件会立即打开，而 YAML 文件需要 2 分钟。有人可以解释这些事情吗？ python、JSON和YAML解析器背后的魔力在哪里？

【问题讨论】：

JSON 适用于无状态的流式解析。 YAML 支持反向引用等功能——它不可能被无状态地解析，除非您只支持该语言的一小部分。 tl;dr：不是为速度而设计的。
（JSON 也不是特别快——对于您在这里谈论的那种数据大小，您可能应该使用类似MsgPack 的东西。

标签： python json yaml

【解决方案1】：

YAML 比 JSON 复杂得多，因此在解析 YAML 时必须进行更多检查，例如下一个节点是否在输入时从块式切换到流式。更多的努力需要更多的时间。

因此，即使您使用 CLoader 加载（在 YAML 中您必须明确执行此操作，并且这是该 JSON 标准库的默认设置），您也会变慢。

YAML 文件可以更小应该是显而易见的，因为它不需要 JSON 所需的（双）引号开销。但是读取文件不是花费时间，而是解析，这对 YAML 来说更加困难。

YAML 解析器（纯 Python 和在 CLoader 的帮助下）比 JSON 解析器有更多的内存开销，当然，分配内存也是有代价的。如果加载 2Mb YAML 文件使用 100Mb+ 内存，我不会感到惊讶。

当然，为更小的语法优化解析器也更容易，YAML的CLoader肯定可以改进，但这样做需要很多时间。

还有一个区别，即使使用json.load()，整个文件也会被读入内存然后被解析（load()，只是在后台调用loads()）。 YAML 解析流，原则上可以处理大于内存/交换空间的文件，但也有一些开销。另一方面，解析 YAML 有相当多的开销，所以大文件也会成为问题。

【讨论】：