加载多个 csv 文件后在 dask 中运行操作时出现问题

Question

我正在尝试开始使用 dask 来处理一些 ML 项目中的大型数据集。将单个 CSV 文件加载到 dask 数据框中工作正常。当我尝试使用多个 CSV 文件时，任何类似“计算”的操作都会导致程序无限期挂起。

运行良好

import dask.dataframe as dd
import pandas as pd
import dask
from dask.distributed import Client

client = Client(processes=False)
df = dd.read_csv('sftp://somestuff//4120109.csv')
shape = dask.delayed(print)(df.shape)
shape.compute()

输出：(3600, 3723)

以下代码无限期挂起

import dask.dataframe as dd
import pandas as pd
import dask
from dask.distributed import Client

client = Client(processes=False)
df = dd.read_csv('sftp://somestuff//412010*.csv')
shape = dask.delayed(print)(df.shape)
shape.compute()

它应该加载 10 个匹配的文件并给出 (36000, 3273) 的形状 我知道它在放入一些选择打印行后专门挂在 shape.compute() 行上。任何帮助将不胜感激！！！

Answer 1

您不应混合使用 dask.delayed 和 dask.dataframe。可能你只是想打电话给dask.compute(df.shape)

https://docs.dask.org/en/latest/delayed-best-practices.html#don-t-call-dask-delayed-on-other-dask-collections