在 Ubuntu 18.04 上使用 mysqlimport 在 5.7.31 版本中缓慢导入 mysql 中的数据答案

【问题标题】：Slow import of data in mysql using mysqlimport in version 5.7.31 on Ubuntu 18.04在 Ubuntu 18.04 上使用 mysqlimport 在 5.7.31 版本中缓慢导入 mysql 中的数据
【发布时间】：2020-09-03 03:28:46
【问题描述】：

在 Ubuntu 18.04 版本 5.7.31 中使用 mysqlimport 缓慢导入 mysql 中的数据我从 Ensembl 加载遗传数据并按照此处的说明进行操作 https://m.ensembl.org/info/docs/webcode/mirror/install/ensembl-data.html.

这是我正在使用的命令

/data/mysql/bin/mysqlimport -u mysqldba --fields-terminated-by='\t' --fields-escaped-by=\\ homo_sapiens_core_100_38 -L allele_synonyms.txt

有几张桌子很大。 40GB、90GB 和 ~300GB。我没想到这会很快，但似乎进展得太慢了。我可以在一小时内导入 10GB 的表，但是这个 40GB 的表让我很生气。我什至使用 slice 来制作小块并加载它们，但在 20GB 时它似乎变得无限长。就像加载数据的日子一样，当我在加载 20GB 之后再添加一个 5GB 块时。

我在Improve performance of mysql LOAD DATA / mysqlimport?Improve performance of mysql LOAD DATA / mysqlimport?

我已关闭 mysql.cnf 中的慢查询日志记录，并尝试了 Stack Overflow 上的其他建议，例如增加缓冲区。

我为我的临时文件使用了很大的空间我专门在 txt.file 上使用 mysqlimport 40GB 的文件有 800,000,000 行，所以它有很多数据。我尝试添加 --num-threds=4 该机器具有不错的规格 4 核和 14GB 内存

【问题讨论】：

标签： mysql sql ubuntu-18.04

【解决方案1】：

我不确定这是否是正确的答案，但这对我有用。我的数据读取率为 99.9%，因此我尝试使用 MyISAM 来处理海量表。只需将表更改为 InnoDB 即可。我对任何超过 25GB 的表都这样做了，而且效果很好。

【讨论】：