在 1 个字符串中执行 1000 多个插入语句

Question

我认为这会很简单，但无论出于何种原因，当脚本完成时数据不在表中。我正在生成一个包含 1000 多个查询的字符串，目前是 1131 个，它们用“;”分隔。

这个字符串是由一个简单的for循环创建的：

query = ""

for: #loop condition
    query += "INSERT INTO Results (col1, col2, col3, col4, pass) VALUES ('%s', %s, %s, %s, 0);" % (val1, val2, val3, val4)
logger.debug("SQL Query = %s" % query)

try:
    cursor.execute(query, multi=True)
except MySQLdb.Error, e:
    try:
        logger.error("MySQL Error [%d]: %s" % (e.args[0], e.args[1]))
        dbinit.cnx.rollback()
        cursor.close()
        dbinit.cnx.close()
    except IndexError:
        logger.error("MySQL Error: %s" % str(e))
        dbinit.cnx.rollback()
        cursor.close()
        dbinit.cnx.close()

dbinit.cnx.commit()
cursor.close()
dbinit.cnx.close()

我没有收到任何错误，当我打印字符串时，它打印得很好。我什至可以复制/粘贴打印的内容，并一次运行所有 sql 命令，它运行得很好，所以我没有任何错误的查询。任何帮助表示赞赏，因为我很难过。我知道有其他方法可以解决这个问题，但如果有人也可以解释为什么这个方法不起作用，那么我可以学习，那也将不胜感激！

更新： Mike 的回答在很大程度上是正确的，但我只是想用我的代码最终的样子来更新这篇文章。

queryData=[]
for: #condition
    queryData.append((val1, val2, val3, val4, 0))

while len(queryData) != 0:
    cursor.executemany("INSERT INTO Results (col1, col2, col3, col4, pass) VALUES (%s, %s, %s, %s, %s)", queryData[:999])
    del queryData[:999]
dbinit.cnx.commit()

Answer 1

看来您处理此问题的方式有误。 cursor.execute() 接受一个查询，准备它并使用您提供的数据执行它。在这一行

cursor.execute(query, multi=True)

您已经省略了第二个 params 参数，因此没有要执行的数据。

您似乎将 1000 多个查询组合为一个字符串。您或许可以使用cursor.query() 执行此操作，但是（如果可行）将导致服务器解析和准备基本相同的查询 1000 多次，效率较低。在任何情况下，许多 MySQL 类都明确禁止以这种方式组装多个查询。

您需要的是cursor.executemany(query, data)，它构造了一个带有多个值集的单个查询，一个对应于data 的每一行。

我不是 Python 开发人员，我看不到您从哪里获取数据，但这是来自 MySQL reference 的示例，已重新设计：

data = [
  ('col1-1', 1,2,3),
  ('col1-2', 4,5,6),
  ('col1-3', 7,8,9),
]
stmt = "INSERT INTO Results (col1, col2, col3, col4, pass) VALUES ('%s', %s, %s, %s, 0)"
cursor.executemany(stmt, data)

您可以添加自己的异常处理。希望这可以帮助您入门。

注意：您可以通过这种方式插入的值集的数量没有限制，但是对您可以创建的字符串的长度有限制，默认情况下为 1Mb。如果您的要求超出此范围，您可以一次将插入批处理到 500 个并运行多个查询（3 个查询仍然比 1500 个更好！）或查看解析查询一次并为每个集合执行的 cursor.MySQLCursorPrepared 类您发送的数据。