Python 连接到具有不同 SQL 方言的多个服务器？答案

【问题标题】：Python Connection to Multiple Servers with Different SQL Dialects?Python 连接到具有不同 SQL 方言的多个服务器？
【发布时间】：2019-05-17 21:40:41
【问题描述】：

问题：如何通过 Python 运行 SQL 查询以从可能具有不同 SQL 方言的多台服务器检索数据（例如，其中一种服务器方言使用 TOP X 和另一种样本 X)？

目前我有一些代码可以让我单独对每个服务器运行查询（这是不够的）：

    import pyodbc
    import pandas as pd
    cnxn = pyodbc.connect('DSN=dsn_name;UID=username;PWD=password')
    query = str("""
                SELECT * 
                FROM sqlserver1.tableA 
                """)
    df = pd.read_sql(query, cnxn)

目标：我想做的是连接来自不同服务器的数据，基本上我希望在 Python 中进行 SQL 查询，看起来有点像这样 - 处理不同的 SQL 方言：

        query = str("""
                    SELECT * 
                    FROM sqlserver1.tableA as sq
                    INNER JOIN teradataserver2.tableB as tera
                            ON sq.id = tera.id
                    """)

..附言我尝试过这样的解决方法：

        import pyodbc
        import pandas as pd
        cnxnServer1 = pyodbc.connect('DSN=dsn_name1;UID=username;PWD=password')
        cnxnServer2 = pyodbc.connect('DSN=dsn_name2;UID=username;PWD=password')

        queryServer1 = str("""
                    SELECT * 
                    FROM sqlserver1.tableA 
                    """)
        queryServer2 = str("""
                    SELECT * 
                    FROM teradataserver2.tableB 
                    """)

.. 然后使用 Pandas 合并。但是这太无效了。

注意：我运行 Python 3.7

【问题讨论】：

您是否尝试过链接服务器，它允许执行您的目标中提到的查询？
不，我没有。如果这样可以实现目标，那么如果您能分享解决方案，我会很高兴。
你说的是什么意思，但这太无效了？慢？错误？

标签： python sql-server teradata pyodbc connector

【解决方案1】：

如果您不想（或不能）弄乱服务器配置（例如，创建链接服务器），那么您可以使用SQLAlchemy's SQL Expression Language 来创建使用方言解释的语句SQLAlchemy engine 对象。

例如，

from sqlalchemy import create_engine, Table, MetaData
from sqlalchemy.sql import select

cnxn_url = 'mssql+pyodbc://@SQLmyDb'
engine = create_engine(cnxn_url)
metadata = MetaData()
my_table = Table('my_table', metadata, autoload=True, autoload_with=engine)
stmt = select([my_table.c.id, my_table.c.txt])\
    .select_from(my_table)\
    .order_by(my_table.c.id)\
    .limit(2)
with engine.begin() as conn:
    print(conn.execute(stmt).fetchall())

将向 SQL Server 发送一条 T-SQL 语句并返回结果。

如果我们只是将连接 URL 更改为

cnxn_url = 'mysql+pymysql://root:whatever@localhost/mydb'

然后 SQLAlchemy 会将适当的 MySQL 语句发送到 MySQL 服务器。

但是，如果您真的想将 database_A 中的一个表与 database_B 中的另一个表连接起来，这可能还不够。在这种情况下，您会考虑将各种表中的数据提取到通用环境中，例如 pandas DataFrames 或内存 SQLite 数据库中的表。

【讨论】：

【解决方案2】：

您可以add linked server 到 SQL Server 以从 sqlserver1 访问 teradataserver2。以下查询可用于连接到sqlserver1 的上下文中（检查teradataserver2 的名称语法）

SELECT * 
FROM tableA as sq
     INNER JOIN [teradataserver2].mydb.dbo.tableB as tera
         ON sq.id = tera.id

【讨论】：