允许重复记录时，如何检查 CSV 的内容是否已上传到数据库？

Question

我有一个数据库表，其中每条记录都有一个主键 ID 和一系列不唯一的列。因此，重复记录（ID 除外）是绝对可能的并且被接受。

表格由 CSV 填充。

我想知道的是，是否有办法验证/检查 CSV 的内容过去是否已保存到数据库中？

我可以检查是否可以找到与 CSV 文件中的记录顺序完全相同的记录，但这听起来很昂贵，我什至不知道如何实施。

另一种选择是对文件进行哈希处理并在上传后将哈希存储在某处，以便我可以检查上传文件的哈希并提示该文件可能已经上传。

我愿意接受有关如何解决此问题的建议，如果没有，如何实现以粗体显示的部分（我认为 has 方法非常简单）。

谢谢！

Answer 1

此问题的规范解决方案是向包含所有其他列的表添加unique 索引或约束。这将防止插入重复的行。

这样一个索引的成本应该不会很大。它也比散列更灵活。例如，唯一约束可以考虑排序规则——将小写和大写字符视为相同。

当然，如果您愿意，您可以允许 重复。要检测它们，请使用常规索引。

索引的缺点是它占用了额外的空间——大约和原始表一样大。在空间是一个问题的应用程序中——因为表真的很庞大——那么散列是一种选择。但是，哈希并不是 100% 的解决方案，因为它们存在冲突：不同的值具有相同的哈希值。