通过导入向导加载到 SQL Server Studio 的 Pandas 数据框

Question

我是 Python 和 SQL Server Studio 的新手。我在 python 中有一个报废代码，它从互联网上收集数据，将其保存到 pandas 数据框中，最终将数据写入 csv。它一次抓取 100 行并将其保存到 csv 中。我得到了 100 个这样的 csv，我将它们附加在一起，然后转换成一个大文件。我确实需要 100 个单独的 csv。

现在，当我尝试通过导入向导将此合并的 csv 加载到 SQL Server 管理工作室时，我收到截断错误。我检查并发现有几行的字符串长度超过 256 个字符。

有没有办法解决这个问题。我的另一种选择是将字符长度限制为 256 个字符，同时将其导出到 csv（我知道这不是最佳解决方案，但它对我有用），如何在将 pandas 数据帧写入 csv 时实现这一点。有没有其他格式可以保存，然后通过 windows 导入向导加载。

任何帮助将不胜感激，因为我对数据库和 python 真的很陌生。提前谢谢你。

Answer 1

考虑在 SQLAlchemy API 上分层的 pandas 的 to_sql 方法，您可以在其中追加或替换数据库表中的数据。 SQLAlchemy 与标准 Python-SQL Sever DB-API 接口，例如 pyodbc 或 pymssql。因此，请在使用前安装。

import pyodbc
import sqlalchemy

engine = sqlalchemy.create_engine("mssql+pyodbc://user:pwd@server/database", echo=False)

mydataframe.to_sql('mytable', con=engine, if_exists='replace')

engine.dispose()

与各种导入向导不同，此方法在 pandas 数据框和您的 SQL Server 数据库表之间建立直接的 SQL 连接。使用 replace，该方法实际运行 DROP TABLE ...，然后是 CREATE TABLE ...，最后是 INSERT INTO ...，使用 pandas 数据帧的数据类型或用户在 @ 的 dtype 参数中指定的数据类型987654330@.