【发布时间】:2014-12-04 20:49:04
【问题描述】:
我正在将 Python 代码转换为新的基于 SQLAlchemy 的 Pandas 0.14.1。
我们使用的一个常见模式是(通常):
connection = db.connect() # open connection/session
sql = 'CREATE TEMP TABLE table1 AS SELECT ...'
connection.execute(sql)
... other sql that creates TEMP tables from various joins of previous TEMP tables ...
sql = 'CREATE TEMP TABLE tableN AS SELECT ...'
connection.execute(sql)
result = connection.query('SELECT * FROM tableN WHERE ...')
connection.close()
现在,一旦连接关闭,数据库服务器就会清除 TEMP 表。但是,由于最终选择查询使用相同的连接/会话,它可以访问表。
如何使用 SQLAlchemy 和 pd.read_sql_query() 实现类似的效果?
例如:
engine = sqlalchemy.create_engine('netezza://@mydsn')
connection = engine.connect()
sql = 'CREATE TEMP TABLE tmptable AS SELECT ...'
connection.execute(sql)
result = pd.read_sql_query('SELECT * FROM tmptable WHERE ...', engine)
产生一个数据库错误,即 TEMP 表 tmptable 不存在。大概这是因为将引擎传递给 read_sql_query() 需要它打开一个具有独立会话范围的新连接,因此看不到 TEMP 表。这是一个合理的假设吗?
有没有办法解决这个问题? (不支持将连接传递给 read_sql_query())
(我知道我可以将 SQL 连接成一个字符串,用 ; 分隔语句,但这是对实际情况的简化,即 TEMP 表是由多个调用其他嵌套 3-4 深的函数创建的. 所以,要实现这一点,需要实现一个层,而不是在发出它之前跨多个调用合并 SQL,如果有更好的方法,我宁愿避免实现)
使用 -
熊猫:0.14.1
sqlalchemy:0.9.7
pyodbc:3.0.6
Win7 x86_64 Canopy Python 发行版 (Python 2.7.6)
来自 https://github.com/deontologician/netezza_sqlalchemy 的 Josh Kuhn 的 Netezza SQLAlchemy 方言
【问题讨论】:
-
您能为此打开一个 github 问题作为增强请求吗?见github.com/pydata/pandas/issues
-
嗨,DavidJ,根据接受的答案,您知道何时关闭连接并因此删除临时表吗?就像,如果我想在多个
pd.read_sql()查询中使用该临时表,我该怎么办?谢谢! -
标签: sql python-2.7 pandas sqlalchemy netezza