我有一个函数需要运行三个 SQL 查询来获取一些数据，然后返回一个计算。
类似：
df1 = pd.read_sql('''...''', cnxn) # Takes 5min
df2 = pd.read_sql('''...''', cnxn) # Takes 25min
df3 = pd.read_sql('''...''', cnxn) # Takes 20min
ans = my_calculation(df1, df2, df3)
有没有办法将数据并行加载到df1、df2 和df3 中？或者您建议的任何其他技巧来改善运行时间。据我所知，我的数据库能够以最小的速度同时运行所有三个查询。
【问题讨论】：
标签： sql-server pandas multithreading asynchronous parallel-processing
据我所知，我的数据库能够以最小的速度同时运行所有三个查询。
这有点不太可能。 SQL Server 支持并行查询，因此没有明显的理由说明同时启动三个查询实际上比顺序运行更好。即使 SQL Server 可以并行运行它们，您也可能在网络上遇到瓶颈，或者在客户端读取结果时遇到瓶颈。
当然，您可以通过在 3 个单独的程序中运行查询来测试这一点，如果这确实有帮助，请使用 multiprocessing 包对多进程并行性进行编码，以扇出多个进程并将结果编组回一个进程。
但是提高查询执行时间的正常方法是在 SQL Server 上，而不是在客户端上。首先查看Query Store 和/或检查Session Wait Stats，例如
stats = pd.read_sql('''select *
from sys.dm_exec_session_wait_stats
where session_id = @@spid
order by wait_time_ms desc''', cnxn) # gather the session wait stats
【讨论】：
df2 之前正在等待获取 df1 的数据