高效地将大文件中的数据上传到数据库

Question

大家好，我需要一个建议，如何有效地将足够大的文件中的数据上传到 mySql 数据库中。所以我有两个文件 5,85Gb 和 6Gb 的数据。对于上传，我使用了`LOAD DATA LOCAL INTO FILE。第一个文件仍在上传（36 小时）。当前索引大小 7,2 GB。我有两个问题：

1) 数据格式为：{string, int, int, int, int}。我不需要这个 int 值，所以我创建了一个类型为 varchar(128) 的表，我的查询是 LOAD DATA LOCAL INFILE "file" INTO TABLE "tale"，所以数据是否正确（我的意思是只有没有 int 字段的字符串)。

2) 比下一个更大的加载时间更大的索引。那么，我做错了什么？我的意思是，我需要什么。然后我需要在那个字符串中进行快速搜索（尤其是在最后一个词中）。所以所有的字符串都包含正好 5 个单词，将每个单词放在不同的列（n 行，5 列）中是否有意义。

请给点建议。

Answer 1

您现在可以删除索引并在表上加载数据后重新创建索引。我认为这会奏效。

重新创建索引需要时间。