如何避免将重复项插入数据库的最有效方法？

Question

我将首先描述我的情况，以便使以下问题尽可能清楚。

为简单起见，假设我在 MySQL 数据库 (InnoDB) 中有一个表，其中包含有关狗的记录，结构如下：

dog_id (PK) | dog_name

表中有 10,000,000 行（每行代表一条唯一的狗），并在 dog_name 列上建立索引。

我的程序搜索我需要处理的 vets 记录。每条记录都以某种方式与一只狗相关联，每条狗大约有 100 条记录。我想找到尚未插入数据库的狗。

这意味着连续 100 次正在处理的记录可能是关于已经在数据库中的狗，因此不必将狗添加到数据库中。但有时会发生（如前面提到的 1:100 比例）我需要将一只狗添加到数据库中，因为这是程序第一次处理关于狗的记录。 （我希望这个例子能说明我的情况）

我的问题是： 如何验证狗还没有被插入数据库最有效的方法是什么？

1. 将所有狗的名字（假设世界上所有的狗都有唯一的名字）加载到程序（一个集合）的内存中，并检查狗是否在集合中。当它在集合中时，我跳过记录，当它不在时，我插入狗。
2. 将列定义为 UNIQUE 并尝试插入所有记录。当因为唯一性而出现数据库错误时，我就跳过狗继续。
3. 每次处理记录时查询数据库以查明狗是否在数据库中，如果在数据库中，则跳过该记录，如果不在，则将狗插入表中。

尽可能多地为您提供信息。我使用 Python、SqlAlchemy、MySQL、InnoDB。

Answer 1

你应该使用 dog_name 作为主键，然后使用

INSERT INTO dogs (dog_name) VALUES ('[NAME HERE]') ON DUPLICATE KEY UPDATE dog_name='[NAME HERE]';

这只会插入唯一的狗名。如果您仍想为每只狗使用数字 ID，您可以将该列设置为自动递增，但主键应该是狗名（假设所有狗名都是唯一的）。

SQLAlchemy 没有内置此功能，but can make force it to make a similar query with session.merge()。

Answer 2

类似选项 2 或选项 3 的方法效果最好；他们应该花费相似的时间，哪一个获胜将取决于 MySQL/InnoDB 如何确定发生冲突。我实际上不知道；使用 UNIQUE 键插入可能会触发与 SELECT 相同的操作。制作原型并分析性能。

如果性能是一个问题，您总是可以手动编写 SELECT 语句，因为它相对简单。这减少了构建 SQL 的 Python MySQL 开销；这通常不是一个大问题，但 SQLAlchemy 可以添加数十层函数调用，以支持其构造任意查询的能力。您可以使用 Python 字符串格式将这些调用短路。

假设 's' 是您的 SQLAlchemy Session 对象：

def dog_in_db(dog_name):
    q = 'SELECT COUNT (*) FROM dogs WHERE dog_name = %s;' % dog_name
    res = s.execute(q)
    return res.first()[0] > 0

您也可以尝试 SELECTing 并检查是否返回任何行：

    q 'SELECT dog_id FROM dogs WHERE dog_name = %s;' % dog_name
    res = s.execute(q)
    return res.rowcount() > 0

假设您的选项 1 意味着从数据库中加载所有名称，它会很慢。 MySQL 将始终比 Python 更快地执行它支持的任何单个操作；并且您在这里所做的是完全相同的单个操作（在列表中查找成员）。