【发布时间】：2019-11-19 16:26:38
【问题描述】：
我一直在运行 kedro 教程（hello world 和太空飞行），我想知道是否可以轻松地使用 Kedro 进行数据并行化。 想象一下，我有一个节点需要在数百万个文件中执行。
我似乎有kedro run -p 选项，但这仅执行任务并行化（如此处所述https://kedro.readthedocs.io/en/latest/03_tutorial/04_create_pipelines.html）。
感谢您的任何反馈
【问题讨论】：
-
我遇到了类似的问题。我有一个节点可以接收许多数据集并将它们联合起来。如果 kedro 可以在后台延迟加载所有输入，然后在它们全部解析后继续，那就太好了。
标签： kedro