多处理和 Dask

Question

场景：我想对一个文件（~100 MB）执行简单的计算。我有数千个这样的文件。对于此示例，将计算视为“计算行数”。

Dask：我正在使用 Dask 来并行化读取和计算。

工作原理：如果每个文件都非常大（45 GB），那么在我的集群（12 台使用 PBS 的计算机）中专用 1 台计算机（70GB 内存）来读取和计算是有意义的。

from dask_jobqueue import PBSCluster
cluster = PBSCluster(cores=1,processes=1,memory='70GB',queue='extra',project='abcd',walltime='12:00:00',interface='ib0',local_directory='/home/abcd/dask_workers/')
cluster.scale(jobs=12)
print(cluster.job_script())
from dask.distributed import Client, progress
client = Client(cluster)

问题：当文件很小（~100 MB）时，我希望集群中的 1 台计算机并行读取和计算多个文件。

问题：哪个参数将允许集群中的 1 台计算机并行进行多次读取和计算。

Answer 1

指定一些任意资源怎么样？例如。在创建集群时指定resources={'compute_load': 12}，给每个worker 12个单位的资源compute_load。

处理重负载时，分配.compute(resources={'compute_load': 12})，这样每个worker一次只承担一个任务。当负载较轻时，使用.compute(resources={'compute_load': 1})，每个worker一次会占用12个任务。另见this answer。