使用它自己的隔离 Dockerfile 在 Airflow Kubernetes 中运行一个新任务？

【问题标题】：Run a new task in Airflow Kubernetes with it's own isolated Dockerfile?使用它自己的隔离 Dockerfile 在 Airflow Kubernetes 中运行一个新任务？
【发布时间】：2022-09-01 04:24:56
【问题描述】：

如何在 Airflow Kubernetes 中使用自己的隔离 Dockerfile 运行新管道？

我一直在使用 Dagster，我可以在他们自己的 Dockerfile 上运行新的管道，但不知道如何在 Airflow 中执行此操作

【问题讨论】：

标签： docker kubernetes airflow dagster

【解决方案1】：

如果您想使用 Airflow 在 Kubernetes 上运行 docker 容器任务，无论您使用的是哪个执行器以及如何部署 Airflow 服务器，您都可以使用KubernetesPodOperator。

您可以通过提供参数 image 来指定 docker 映像，也可以覆盖映像入口点并提供额外的参数（cmds 和 arguments）。您可以根据需要配置您的 pod（标签、卷、机密、configMaps ......）。

【讨论】：