如何更改 Kedro 中 ParallelRunner 的进程数？答案

【问题标题】：How to change the process count of the ParallelRunner in Kedro?如何更改 Kedro 中 ParallelRunner 的进程数？
【发布时间】：2019-11-11 09:46:18
【问题描述】：

我的管道发出大量 HTTP 请求。这不是一个 CPU 密集型操作，我想旋转比 CPU 内核数量更多的进程。我该如何更改？

【问题讨论】：

标签： python kedro

【解决方案1】：

ParallelRunner 支持 max_workers 参数，但目前无法从 kedro run cli 命令中传递它。这样做是为了降低 CLI 的复杂性。您可以手动添加参数，也可以在kedro_cli.py 中实例化 ParallelRunner 时硬编码该值。跑步者部分可能看起来像：

runner_class = load_obj(runner, "kedro.runner") if runner else SequentialRunner
runner_params = {'num_workers': 100} if runner is ParallelRunner else {}

context = load_context(Path.cwd(), env=env)
context.run(
    tags=tag,
    runner=runner_class(**runner_params),
    node_names=node_names,
    from_nodes=from_nodes,
    to_nodes=to_nodes,
    from_inputs=from_inputs,
    load_versions=load_version,
    pipeline_name=pipeline,
)

【讨论】：