【问题标题】:Python SQL insert statement only inserts part of the recordsPython SQL insert 语句只插入部分记录
【发布时间】:2019-10-24 10:49:50
【问题描述】:

我试图找出我的 SQL-insert 命令遇到问题的原因。我正在尝试每天向表中插入约 5k 条记录,并设计了一个 for 循环来创建一个 SQL 命令,该命令为每条记录运行一个 INSERT INTO。

我使用下面的代码生成一个巨大的字符串,然后在 SQL 环境中运行。

当我运行这段代码时,我最终插入了非常多的记录(可以是 300、1000 或 600)。奇怪的是,如果我将 total_sql 字符串直接复制到 SQL 服务器并运行它,它会创建所有记录。所以我认为远程运行此 SQL 代码存在问题。

以前有没有人遇到过类似的问题?我最初认为这与字符串的长度有关,但这并不能解释为什么每次运行它时记录的数量都会发生变化,所以我的想法已经用完了。谢谢!

total_sql = ''
n= 0
for i in range(Mydata.shape[0]):
    current_line = '''INSERT INTO TableName (ColumnName)
    VALUES
    (''' + My_data[i] "') "
    total_sql = total_sql + current_line
    n+=1

cursor.execute(total_sql)

仅供参考,我最初有一个系统为每个单独的行运行插入,但事实证明这很慢并且更有可能导致服务器通信超时。

【问题讨论】:

  • 您每次通过循环创建一个全新的current_line 值,每次都覆盖之前的任何值,因此在您到达cursor.execute() 时只有最后一个值存在。
  • total_sql 字符串包括所有粘在一起的记录,因此包括所有记录(+ 我看到数百条记录,所以覆盖不是问题吗?)。

标签: python sql sql-server insert


【解决方案1】:

改用 pandas 怎么样?

您只需要先传输到数据框。现在是什么格式?

import pandas as pd

df.to_sql('TABLE NAME',connection, if_exists = 'append',index=False)

df 是将您的数据转换为数据框的位置。

【讨论】:

  • 谢谢,现在看看这个。仍然很奇怪,这个其他插入不起作用。. 还使用 cursor.executemany() 构建了一个系统,但这仍然很慢,所以希望能运行这样的东西。
猜你喜欢
  • 2018-08-29
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2011-02-07
  • 2016-12-16
  • 1970-01-01
相关资源
最近更新 更多