【发布时间】:2021-11-26 12:38:23
【问题描述】:
我在 docker 上运行 Apache Airflow。我想为 spark 安装一个气流提供程序包。我的 docker compose yml 文件看起来像 this。当我尝试在气流中创建新连接时,我想将 Spark 添加为我的连接类型。我该怎么做?
【问题讨论】:
标签: python docker apache-spark docker-compose airflow
我在 docker 上运行 Apache Airflow。我想为 spark 安装一个气流提供程序包。我的 docker compose yml 文件看起来像 this。当我尝试在气流中创建新连接时,我想将 Spark 添加为我的连接类型。我该怎么做?
【问题讨论】:
标签: python docker apache-spark docker-compose airflow
您应该创建新的自定义图像并使用它来代替基础图像。见:https://airflow.apache.org/docs/docker-stack/build.html
【讨论】: