如何插入或更新大量行（关于表的 auto_increment 值）

Question

目前我有一个大约 300 万行 (listings) 的 MySQL 表。这些列表由 python 脚本 (Scrapy) 使用 pymsql 更新 24/7（大约 30 个列表/秒） - 因此查询的性能是相关的！

如果listing 不存在（即UNIQUE url），将插入一条新记录（大约每百分之一列表）。 id 设置为 auto_increment，我使用的是 INSERT INTO listings ... ON DUPLICATE KEY UPDATE last_seen_at = CURRENT_TIMESTAMP。 last_seen_at 上的更新对于检查该项目是否仍然在线是必要的，因为我正在抓取包含多个列表的搜索结果页面，而不是每次都检查每个单独的 URL。

+--------------+-------------------+-----+----------------+
| Field        | Type              | Key | Extra          |
+--------------+-------------------+-----+----------------+
| id           | int(11) unsigned  | PRI | auto_increment |
| url          | varchar(255)      | UNI |                |
| ...          | ...               |     |                |
| last_seen_at | timestamp         |     |                |
| ...          | ...               |     |                |
+--------------+-------------------+-----+----------------+

问题：

一开始，一切都很顺利。然后我注意到 auto_incremented id 列中的差距越来越大，并发现这是由于INSERT INTO ... 语句：MySQL 尝试先进行插入。这是id 自动递增的时候。一旦增加，它就会保持不变。然后检测到重复并进行更新。

现在我的问题是：从长远的角度来看，关于性能的最佳解决方案是什么？

选项 A： 将 id 列设置为无符号 INT 或 BIGINT 并忽略间隙。这里的问题是我害怕在几年更新后达到最大值。经过两天的更新，对于大约 3,000,000 个列表，我的 auto_increment 值已经达到了大约 12,000,000...

选项 B： 切换到 INSERT IGNORE ... 语句，检查受影响的行并在必要时检查 UPDATE ...。

选项 C： SELECT ... 现有列表，检查是否存在于 python 和 INSERT ... 或 UPDATE ... 取决于。

还有其他明智的选择吗？

---

附加信息：我需要一个id 来获取与存储在其他表中的listing 相关的信息（例如listings_images、listings_prices 等）。恕我直言，使用 URL（这是唯一的）不是外键的最佳选择。

+------------+-------------------+
| Field      | Type              |
+------------+-------------------+
| listing_id | int(11) unsigned  |
| price      | int(9)            |
| created_at | timestamp         |
+------------+-------------------+

Answer 1

我和你的情况完全一样

我有数百万条记录被刮板输入到表中，刮板每天都在运行

我尝试关注但失败了

1. 将所有 url 加载到 Python tuple 或 list 中，并且在抓取时，只抓取那些不在列表中的内容 - 失败，因为在将 url 加载到 Python tuple 或 list 脚本时消耗这么多服务器的内存
2. 输入前检查每条记录 - 失败，因为它使 INSERTion 过程太慢，因为它首先必须查询具有数百万行的表，然后决定是否插入

解决方案适用于我：（适用于具有数百万行的表）

1. 我删除了 id 列，因为它是不敬的，我不需要它
2. 制作url PRIMARY KEY，因为它是唯一的
3. 添加UNIQUE INDEX - 这是必须要做的 - 这将大大提高您的表的性能
4. 进行批量插入而不是一个接一个地插入（参见下面的管道代码）

注意它使用的是INSERT IGNORE INTO，所以只会输入新记录，如果存在则完全忽略

如果你在MySQL中使用REPLACE INTO而不是INSERT IGNORE INTO，则会输入新记录，但如果存在记录，则会更新记录

class BatchInsertPipeline(object):

    def __init__(self):
        self.items = []
        self.query = None

    def process_item(self, item, spider):
        table = item['_table_name']
        del item['_table_name']

        if self.query is None:
            placeholders = ', '.join(['%s'] * len(item))
            columns = '`' + '`, `'.join(item.keys()).rstrip(' `') + '`'
            self.query = 'INSERT IGNORE INTO '+table+' ( %s ) VALUES ( %s )' \
                % (columns, placeholders)

        self.items.append(tuple(item.values()))

        if len(self.items) >= 500:
            self.insert_current_items(spider)   
        return item

    def insert_current_items(self,spider):
        spider.cursor.executemany(self.query, self.items)
        self.items = []


    def close_spider(self, spider):
        self.insert_current_items(spider)
        self.items = []