我有一个这样定义的 MYSQL 表：
CREATE TABLE Data (
ID BIGINT(20) NOT NULL AUTO_INCREMENT,
Unique_Hash BINARY(16) NOT NULL,
Size BIGINT(20) NOT NULL,
DateAdded DATETIME NOT NULL,
PRIMARY KEY (ID),
INDEX (Unique_Hash)
);
我希望用 1,000 条记录填充此表，但永远不应在另一条记录中添加 Unique_Hash/Size 对。相反，我想确保是否有任何与我现有的 Unique_Hash/Size 值匹配的新记录被忽略。 DateAdded 字段破坏了我的 ON DUPLICATE IGNORE 参数。
如何安全地将数据导入此表，以确保我的记录相对于我的 Unique_Hash 和 Size 字段是唯一的？
【问题讨论】：
标签： mysql import duplicates
在 Unique_Hash 和 Size 字段上创建多列唯一索引。这肯定会阻止任何具有相同数据的条目插入到表中。
在导入数据时，您可以使用insert ignore ... 语句忽略插入期间由于唯一索引冲突而收到的任何错误。这些将被报告为警告。
请注意使用ignore option 的副作用：
会触发错误的数据转换中止语句，如果 未指定 IGNORE。使用 IGNORE，将无效值调整为 最接近的值并插入；产生警告，但 语句不会中止。您可以使用 mysql_info() C 确定 API 函数实际向表中插入了多少行。
【讨论】：
您可以在表上添加一个索引，以确保两列的唯一性：
ALTER TABLE `Data` ADD UNIQUE `Unicity` (`Unique_Hash`, `Size `);
使用此说明，您的配对将在整个表中是唯一的（不能插入重复的配对）。如果您尝试插入重复的对，您将收到此错误：
#1062 - Duplicate entry 'XXX-XXXX' for key 'Unicity'
另一种解决方案是在插入之前消除重复对。 为此，您可以使用例如http://openrefine.org/ 以前的谷歌精炼。我曾为此类任务使用过它，并且取得了一些不错的结果。
希望对你有帮助。
【讨论】：
这是我所做的，似乎解决了我的问题：
我（重新）将我的表定义为：
创建表数据 ( ID BIGINT(20) NOT NULL AUTO_INCREMENT, Unique_Hash BINARY(16) NOT NULL, 大小 BIGINT(20) 非空， 添加日期 s/DATETIME/TIMESTAMP/ DEFAULT s/NOT NULL/CURRENT_TIMESTAMP/， 主键（ID）， s/INDEX/UNIQUE KEY/ (Unique_Hash) );
现在我可以导入如下数据：
INSERT IGNORE INTO Data (Unique_Hash, Size) SELECT Hash AS Unique_Hash, Size FROM Temp;
这现在会自动添加 CURRENT_TIME 字段，并防止从我的 Temp 表中导入欺骗。
【讨论】：