MySQL插入缩放问题

Question

INSERT INTO required_data (
keyword_id, search_engine_id, date, " . $periodType . "
) VALUES (
:keyword_id, :search_engine_id, :date, TRUE
) ON DUPLICATE KEY UPDATE " . $periodType . " = TRUE, received = FALSE

这个特定的查询目前在典型的一天中插入大约 2.6-280 万行，它处理得很好。在这些情况下，任务会每小时检查并执行一次。但我们也有每周和每月的一组插页。这是在这些情况下要插入的另一个非常大的数据块，当它们运行时，由于它们需要多长时间才能完成，我们会遇到问题。

当这些任务花费的时间过长时，它会锁定其他任务，我计划将任务分解成更易于管理的块，以更好地分散负载，并在需要时保持一切在一天/一周/一个月内运行，但这几乎不可能理想的。如果有人知道我怎样才能提高效率，那就太好了。这在大型 ec2 实例上运行。

Answer 1

如果您可以将数据一起批处理到导入文件中，则可以使用 MySQL LOAD DATA INFILE 命令。它的速度差不多。

https://dev.mysql.com/doc/refman/8.0/en/load-data.html

编辑

您可能使用了错误的工具。如果您需要对大量数据执行特定任务，那么通用数据库可能不是正确的工具。

例如，如果您正在汇总日志数据，您可以在低功耗硬件上使用直接执行文件 I/O 的多种编译语言中的任何一种轻松处理 100 GB/天。