dask `DataFrame.set_index()` 的并行执行

Question

我正在尝试在大型 dask 数据帧上创建索引。无论使用哪种调度程序，我都无法使用相当于一个核心的操作。代码是：

(ddf.
 .read_parquet(pq_in)
 .set_index('title', drop=True, npartitions='auto', shuffle='disk', compute=False)
 .to_parquet(pq_out, engine='fastparquet', object_encoding='json', write_index=True, compute=False)
 .compute(scheduler=my_scheduler)
)

我在一台 64 核机器上运行它。我能做些什么来利用更多的核心？还是set_index 本身就是顺序的？

Answer 1

这应该使用多个内核，尽管使用磁盘进行洗牌可能会引入其他瓶颈，例如本地硬盘驱动器。您通常不受额外 CPU 内核的约束。

在您的情况下，我会在单台机器上使用分布式调度程序，以便您可以使用诊断仪表板更深入地了解您的计算。