MySQL 中的 Sqlalchemy 批量更新工作非常缓慢答案

【问题标题】：Sqlalchemy bulk update in MySQL works very slowMySQL 中的 Sqlalchemy 批量更新工作非常缓慢
【发布时间】：2016-01-26 11:43:24
【问题描述】：

我正在使用SQLAlchemy 1.0.0，并且想要批量进行一些UPDATE ONLY（如果匹配主键则更新，否则不执行任何操作）查询。

我做了一些实验，发现批量更新看起来比批量插入或批量upsert慢得多。

您能否帮我指出为什么它运行如此缓慢，或者是否有任何替代方法/想法来制作BULK UPDATE (not BULK UPSERT) with SQLAlchemy？

下面是MYSQL中的表格：

CREATE TABLE `test` (
  `id` int(11) unsigned NOT NULL,
  `value` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;

以及测试代码：

from sqlalchemy import create_engine, text
import time

driver = 'mysql'
host = 'host'
user = 'user'
password = 'password'
database = 'database'
url = "{}://{}:{}@{}/{}?charset=utf8".format(driver, user, password, host, database)

engine = create_engine(url)
engine.connect()

engine.execute('TRUNCATE TABLE test')

num_of_rows = 1000

rows = []
for i in xrange(0, num_of_rows):
    rows.append({'id': i, 'value': i})

print '--------- test insert --------------'
sql = '''
    INSERT INTO test (id, value)
    VALUES (:id, :value)
'''
start = time.time()
engine.execute(text(sql), rows)
end = time.time()
print 'Cost {} seconds'.format(end - start)

print '--------- test upsert --------------'
for r in rows:
    r['value'] = r['id'] + 1

sql = '''
    INSERT INTO test (id, value)
    VALUES (:id, :value)
    ON DUPLICATE KEY UPDATE value = VALUES(value)
'''
start = time.time()
engine.execute(text(sql), rows)
end = time.time()
print 'Cost {} seconds'.format(end - start)

print '--------- test update --------------'
for r in rows:
    r['value'] = r['id'] * 10

sql = '''
    UPDATE test
    SET value = :value
    WHERE id = :id
'''
start = time.time()
engine.execute(text(sql), rows)
end = time.time()
print 'Cost {} seconds'.format(end - start)

num_of_rows = 100 时的输出：

--------- test insert --------------
Cost 0.568960905075 seconds
--------- test upsert --------------
Cost 0.569655895233 seconds
--------- test update --------------
Cost 20.0891299248 seconds

num_of_rows = 1000 时的输出：

--------- test insert --------------
Cost 0.807548999786 seconds
--------- test upsert --------------
Cost 0.584554195404 seconds
--------- test update --------------
Cost 206.199367046 seconds

到数据库服务器的网络延迟约为 500 毫秒。

看起来像批量更新它一个一个地发送和执行每个查询，而不是批量？

提前致谢。

【问题讨论】：

没有批量更新之类的东西。尝试将所有更新封装在一个事务中，看看效果如何。
@Shadow 还是很慢（花费几乎相同的时间），看起来它只是将每个更新查询一个一个发送到数据库，而每个发送操作的网络延迟是 500ms。
然后自己生成sql字符串，所有更新语句用;分隔并将其作为一个批次发送到您的数据库。
@Shadow 谢谢，它现在工作得更快了。但是 SQLAlchemy 实现批量插入/批量 upsert 的方式是否相同？之前我以为是先把SQL模板发送到数据库，然后再把这批数据发送到服务器，所以我想它也应该可以批量更新。
我再说一遍：没有批量更新这样的东西。有一个批量插入，但正如@pi 在他的回复中指出的那样，sqlalchemy 甚至不使用该语法。我不完全确定批量插入然后使用连接进行更新是否比使用单个事务批量发送更新语句要快得多。

标签： python mysql sqlalchemy bulkinsert bulkupdate

【解决方案1】：

即使数据库服务器（如您的情况）具有非常糟糕的延迟，您也可以通过技巧加快批量更新操作。您无需直接更新表，而是使用 stage-table 非常快速地插入新数据，然后对 destination-table 执行一次连接更新。这还有一个好处是可以显着减少必须发送到数据库的语句数量。

这如何与 UPDATE 一起使用？

假设您有一个表entries，并且您一直有新数据进入，但您只想更新那些已经存储的数据。您创建目标表 entries_stage 的副本，其中仅包含相关字段：

entries = Table('entries', metadata,
    Column('id', Integer, autoincrement=True, primary_key=True),
    Column('value', Unicode(64), nullable=False),
)

entries_stage = Table('entries_stage', metadata,
    Column('id', Integer, autoincrement=False, unique=True),
    Column('value', Unicode(64), nullable=False),
)

然后您使用批量插入插入数据。如果您使用 MySQL 的多值插入语法，这可以进一步加快速度，SQLAlchemy 本身不支持这种语法，但可以轻松构建。

INSERT INTO enries_stage (`id`, `value`)
VALUES
(1, 'string1'), (2, 'string2'), (3, 'string3'), ...;

最后，您使用阶段表中的值更新目标表的值，如下所示：

 UPDATE entries e
 JOIN entries_stage es ON e.id = es.id
 SET e.value = es.value;

那么你就完成了。

插入呢？

这当然也可以加快插入速度。由于您已经在 stage-table 中有数据，您需要做的就是发出 INSERT INTO ... SELECT 语句，其中的数据还没有在 destination-table 中.

INSERT INTO entries (id, value)
SELECT FROM entries_stage es
LEFT JOIN entries e ON e.id = es.id
HAVING e.id IS NULL;

这样做的好处是您不必执行INSERT IGNORE、REPLACE 或ON DUPLICATE KEY UPDATE，它们会增加您的主键，即使它们什么都不做。

【讨论】：