【发布时间】:2021-04-01 11:29:12
【问题描述】:
我正在使用 DSN 将本地 python 连接到 HDFS 集群:
import pyodbc
with pyodbc.connect("DSN=CDH_HIVE_PROD", autocommit=True) as conn:
df = pd.read_sql("""Select * from table1""", conn)
df
如何将此表作为“table1tmp”写回集群?我需要一个 create 语句来首先创建表吗?然后如何从 pandas 数据框中插入数据?
我认为这是一项足够频繁地完成的事情,应该相当容易(提取数据、做某事、保存数据),但我找不到任何使用 pyodbc 或 DSN 的示例,这似乎是我的唯一的连接方式。
【问题讨论】:
-
This question(及其答案)表明PyHive 可能是一个选项。
-
TL;DR - 要使用 pandas
read_sql_query()et al. 您可以不使用普通 DBAPI 连接,但要使用to_sql()写回数据库您需要使用 SQLAlchemyConnectable(Engine或Connection)。
标签: python pandas hdfs pyodbc dsn