为了导入大数据（PHP），哪个是最好的 CSV 或 JSON [关闭]

Question

我正在尝试获取大量数据（大约 3M 行），但我只有两个选择。

1. 调用 API，然后恢复 3M JSON 对象。
2. 导入包含 3M 行的 CSV 文件。

我还没有对这些解决方案中的任何一个进行测试，以确定哪一个在速度方面最好。

Answer 1

如果您想将 简单数据 检索为包含某些列的列表或行，选项 #2 是一个不错的选择，您可以阅读以下一组优点和缺点：

优点

• 需要更少的带宽，因为 JSON 需要更多的语法字符来保持格式，而 CSV 就像使用字符分隔符一样简单
• 处理数据更快，因为只需要用分隔符分割，而 JSON 需要解释语法
• 大数据技术如 Hadoop 具有对 CSV 格式的集成解析，同时需要特定的函数来解析 JSON（例如使用 Hive 语言）。

缺点

• 非结构化数据，更难被人类阅读
• 您必须小心，因为分隔符不能出现在数据字段中。

如果数据将包含 复杂数据 作为元组、数组和结构 JSON 更好，因为：

• 保持清晰和结构化的格式
• 不重复数据来引用它，因为一个标签可能包含多个数据。