【发布时间】：2020-08-13 21:08:48
【问题描述】：
在 spark 上寻找 kedro+气流实现。插件现在可以用于 spark 了吗？
查看了 PipelineX 但在 spark 上找不到相关示例？
【问题讨论】：
标签： apache-spark pyspark kedro
【发布时间】：2020-08-13 21:08:48
【问题描述】：
我还没有准备或看到将 Spark 与 PipelineX 或 Airflow 结合使用的示例，但应该可以使用 kedro-airflow 在 Spark 上运行任务。
以下文档和 DataEngineerOne 的视频可能会有所帮助。
https://kedro.readthedocs.io/en/stable/10_tools_integration/01_pyspark.html?highlight=Spark
【讨论】：