大数据：逐行或按 CSV 处理 SQL 插入/更新或合并最佳？

Question

所以基本上我有一堆 1 Gig 数据文件（压缩），其中只有包含带有时间戳和其他内容的 JSON 数据的文本文件。

我将使用 PHP 代码将此数据插入 MYSQL 数据库。

我将无法将这些文本文件存储在内存中！因此，我必须逐行处理每个数据文件。为此，我使用了 stream_get_line()。

• 包含的一些数据将是更新，一些将是插入。

问题 使用 Insert / Select / Update 语句会更快，还是创建 CSV 文件并以这种方式导入？

创建一个批量操作的文件，然后从 sql 执行它？

我基本上需要使用不存在的主键插入数据，如果主键确实存在，则更新数据上的字段。但我会在大量的情况下这样做。

性能永远是问题。

更新 该表有 22,000 列，仅说其中 10-20 不包含 0。

Answer 1

我会将所有数据加载到一个临时表中，然后让 mysql 完成繁重的工作。

1. 通过create table temp_table as select * from live_table where 1=0;创建临时表

2. 读取文件并创建与load data infile 加载兼容的数据产品。

3. 将数据加载到临时表中并为主键添加索引

4. 下一步通过在活动表和临时表之间进行内部查询来隔离更新。浏览并进行更新。

5. 从临时表中删除所有更新（再次使用它和活动表之间的内连接）。

6. 通过简单的插入到 live_table 中作为 select * from temp_table 处理所有插入。

7. 放下临时桌子，回家喝一杯冰镇饮料。

对于您的用例，这可能过于简化，但稍作调整就可以了。