【问题标题】:How to write pandas dataframe to HDFS cluster using pyodbc?如何使用 pyodbc 将 pandas 数据帧写入 HDFS 集群?
【发布时间】:2021-04-01 11:29:12
【问题描述】:

我正在使用 DSN 将本地 python 连接到 HDFS 集群:

import pyodbc    
    with pyodbc.connect("DSN=CDH_HIVE_PROD", autocommit=True) as conn:
        df = pd.read_sql("""Select * from table1""", conn)
df

如何将此表作为“table1tmp”写回集群?我需要一个 create 语句来首先创建表吗?然后如何从 pandas 数据框中插入数据?

我认为这是一项足够频繁地完成的事情,应该相当容易(提取数据、做某事、保存数据),但我找不到任何使用 pyodbc 或 DSN 的示例,这似乎是我的唯一的连接方式。

【问题讨论】:

  • This question(及其答案)表明PyHive 可能是一个选项。
  • TL;DR - 要使用 pandas read_sql_query() et al. 您可以不使用普通 DBAPI 连接,但要使用 to_sql() 写回数据库您需要使用 SQLAlchemy Connectable(Engine 或 Connection)。

标签: python pandas hdfs pyodbc dsn


【解决方案1】:

我们遇到了类似的问题。感谢关于 SQLAlchemy 的评论,我们找到了一个可行的解决方案:

def my_create_engine(mydsn, mydatabase, **kwargs):
connection_string = 'mssql+pyodbc://@%s' % mydsn
cargs = {'database': mydatabase}
cargs.update(**kwargs)
e = sqlalchemy.create_engine(connection_string, connect_args=cargs)
return e 
engine = my_create_engine('CDH_HIVE_PROD', 'CDH_HIVE_PROD') 
con = pyodbc.connect("DSN=CDH_HIVE_PROD")
pd.io.sql.to_sql(frame=df_output, name='test', schema='dbo', con=con, if_exists='replace', index=False )

【讨论】:

    猜你喜欢
    • 2019-06-23
    • 1970-01-01
    • 2020-08-21
    • 1970-01-01
    • 2017-11-01
    • 2019-01-05
    • 2023-04-04
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多