【问题标题】:How to use Pandas Write_Frame to export results to Oracle Database in cx_Oracle如何使用 Pandas Write_Frame 将结果导出到 cx_Oracle 中的 Oracle 数据库
【发布时间】:2014-04-23 00:30:34
【问题描述】:

我正在尝试将 Pandas DataFrame 导出到 Oracle 数据库。我在 Pandas 中遇到过 Write_Frame 函数,这听起来正是我所需要的。

但是,我在网上进行了大量搜索,但无法正常工作。我已经导入了 cx_Oracle 并且可以连接到 Oracle 数据库以及运行 SQL 查询而没有任何问题,但是当我运行它时它给了我一个'NotImplementedError':

import pandas.io.sql as psql

 output = psql.write_frame(MyResults, name = 'MySchema.MyTable', con = MyCon, 
                           flavor = 'oracle', if_exists = 'replace')

到目前为止,我已经在 sqlite 和 mysql 上看到了许多 wrtie_frame 的示例,那么这是否意味着如果 flavor = 'oracle' 它将不起作用?我尝试将风味更改为 mysql,但它给了我一个错误提示 'Invalid SQL statement'??

谁能帮我解决这个问题,因为我不想将结果写入 CSV 文件然后导出到数据库表?

谢谢

【问题讨论】:

  • 你是什么版本的熊猫?打开python shell并输入“import pandas”,然后输入“pandas.__version__”
  • 您可以直接读入python,但显然这可能会产生很多开销。您可以尝试在 pandas 的 master 分支(在后台使用 SQLAlchemy)上执行此操作,事实上,获得您对此的反馈并确保它在 0.14 中工作会很棒!

标签: python sql oracle pandas cx-oracle


【解决方案1】:

扩展 Andy Hayden 的评论:pandas

但是 sql 模块在 0.14 中进行了大修(目前正在开发中)。它现在在后台使用sqlalchemy,因此通常现在应该通过 sqlalchemy 支持 oracle。有关更多详细信息,请参阅开发文档:http://pandas-docs.github.io/pandas-docs-travis/io.html#io-sql。事实上,如果您能够使用 oracle 对其进行测试并提供一些反馈,那就太好了!

【讨论】:

  • 感谢大家的回复。我正在使用熊猫 0.13。我试过'sqlalchemy',看来我可以做到engine = create_engine('oracle+cx_oracle://User:Passowrd@mytns')。但是,在那之后我没有运气,因为我尝试使用 to_sql() 写入数据库,但它仍然不起作用:df.to_sql('TRORE.HW_TEST_PY',engine, flavor = 'oracle, if_exists = 'replace') 而不是engine.has_table('MY_TABLE','MY_SCHEMA')。那么是不是你可以在 0.13 中创建一个引擎,但如果你想用它做任何事情,你需要 0.14?
  • 这是 0.14 中的新功能。 create_engine 只是一个 sqlalchemy 函数,因此它也适用于 0.13,但 pandas to_sql 仅从 0.14 开始使用它。如果您无法升级到 pandas 开发版,另一种选择是只下载带有 sql 代码的文件(github.com/pydata/pandas/blob/master/pandas/io/sql.py),将其保存在您的代码旁边,导入它(import sql),然后您可以使用新功能sql.to_sql(df, 'name', engine)
  • 好的,按照建议,我终于可以使用 to_sql 并连接到 Oracle 并成功创建表。谢谢您的帮助!我确实发现运行时间有点长,因为我只插入了 5 行少于 10 列。大概花了将近一分钟。由于我只是尝试插入特定模式,即使我在名称中指定了它(例如 my_schema.table),它仍然在数据库的主模式中创建表。创建表后,我所有的字符串字段都显示“排除”,但数字字段很好。
  • 很高兴你成功了!奇怪的是需要这么长时间,对于那么多行/列来说肯定不是这种情况。如果您有特定的问题(例如字符串字段或架构),请在github.com/pydata/pandas/issues 提出问题,这将非常受欢迎。我认为目前不支持指定架构。
猜你喜欢
  • 2016-06-17
  • 2015-12-04
  • 2018-08-08
  • 2020-11-02
  • 1970-01-01
  • 2020-02-06
  • 1970-01-01
  • 2017-08-01
  • 2020-08-10
相关资源
最近更新 更多