使用 pd.read_sql 和 asyncio 从数据库读取

Question

我有三个表，每个表都需要大约 1 分钟来查询（即总共 3 分钟）

from my_utils import get_engine
import pandas as pd

def main():
   con1 = get_engine("table1")
   con2 = get_engine("table2")
   con3 = get_engine("table3")

   df1 = pd.read_sql(query1,con=con1)
   df2 = pd.read_sql(query2,con=con2)
   df3 = pd.read_sql(query3,con=con3)

main()

让天空“异步”。

因此我尝试了以下方法（我对使用 asyncio 比较陌生）

.
.
import asyncio

async def get_df1(query1):
   df1 = pd.read_sql(query1,con=con1)
   return df1

async def get_df2(query2):
   df2 = pd.read_sql(query2,con=con2)
   return df2

async def get_df3(query3):
   df3 = pd.read_sql(query3,con=con3)
   return df3

async def main():

 df1,df2,df3 = await asyncio.gather(get_df1(),get_df2(),get_df3())

asyncio.run(main())

它会运行，但它与同步运行所用的时间完全相同。

我错过了什么吗？

Answer 1

协程之间的切换只发生在await 语句中，并且由于您的await 函数中没有awaits，您的三个查询将只能按顺序执行。由于pd.read_sql 本身不是异步的，因此您必须使用执行器将其包装以制作异步版本：

async def read_sql_async(stmt, con):
    loop = asyncio.get_event_loop()
    return await loop.run_in_executor(None, pd.read_sql, stmt, con)

然后您就可以将 read_sql 作为可等待对象运行：

df1 = await read_sql_async(query1, con=con1)