读取托管非常大数据的 REST api 响应

Question

我正在调用一个托管大量数据的 REST API 端点。数据量太多以至于我的 chrome 标签也崩溃了（它会在短时间内显示数据，并且正在加载更多数据导致标签崩溃）。甚至邮递员也无法获取数据，而只会返回 200 OK 代码而不显示任何响应正文。

我正在尝试编写一个 java 程序来使用来自 API 的响应。有没有办法在不使用大量内存的情况下消耗响应？

如果问题不清楚，请告诉我。谢谢！！

Answer 1

一种可能性是使用 JSON 流解析器，例如 Jackson Streaming API (https://github.com/FasterXML/jackson-docs/wiki/JacksonStreamingApi)，例如代码参见 https://javarevisited.blogspot.com/2015/03/parsing-large-json-files-using-jackson.html

对于 JS 有https://github.com/DonutEspresso/big-json

Answer 2

如果数据真的那么大，最好拆分任务：

1. 通过普通http客户端下载完整数据到磁盘
2. 进行批量处理，使用一些流式处理方法，类似于 XML 的 SAX 解析： JAVA - Best approach to parse huge (extra large) JSON file

通过这样的拆分，您将不会在处理过程中处理可能的网络错误，并保持数据的一致性。