优化 pd.read_sql

Question

conn1 = pyodbc.connect('DSN=LUDP-Training Presto',uid='*****', pwd='****', autocommit=True) 

 sql_query =        "SELECT             zsourc_sy, zmsgeo, salesorg, crm_begdat, zmcn, zrtm, crm_obj_id, zcrmprod, prod_hier, hier_type, zsoldto, zendcst, crmtgqtycv, currency, zwukrs, netvalord, zgtnper,zsub_4_t \
                    FROM                `prd_updated`.`bw_ms_zocsfs05l_udl` \
                    WHERE               zdcgflag = 'DCG' AND crm_begdat >= '20200101' AND zmsgeo IN ('AP', 'LA', 'EMEA', 'NA')"

我必须将以下查询加载到 pandas 数据帧中，但由于该表包含超过 1000 万行数据，因此 pd.read_sql 语句已经加载了几个多小时。有没有办法加快这个过程？

contract_table = pd.read_sql(sql_query,conn1)

Answer 1

您可以将 chunksize 参数传递给 read_sql 函数 (docs)，这会将其变成一个生成器，该生成器返回具有指定行数的数据帧的迭代器。

df_iter = pd.read_sql(sql_query,conn1, chunksize=100)

for df in df_iter:
    for row in df: # 100 rows in each dataframe in this example
        # do work here

生成器是处理因太大而无法一次全部放入内存的数据的有效方式。