我正在评估在数据环境中用于生产的 Apache 气流，我想知道您是否可以使用气流在自动缩放 Kubernetes 集群上的自包含 docker 环境中运行操作员。
我找到了以下运算符：KubernetesPodOperator，这似乎可以完成这项工作，但我发现的唯一示例是在 Google Cloud 上。我想在 AWS 上运行它，但是我还没有找到任何关于如何做到这一点的例子。我相信 AWS EKS 或 AWS fargate 可能符合要求，但不确定。
任何有气流经验的人都可以告诉我这是否可能吗？我在网上查了一下，还没有发现什么清楚的。
【问题讨论】：
标签： kubernetes airflow aws-fargate amazon-eks
我们一直在生产中使用 Fargate 和 Airflow，到目前为止的体验一直很好。
我们一直将它用于临时工作负载，结果证明它比拥有专用 Kubernetes 集群更便宜。此外，没有任何类型的管理开销。
【讨论】：
您可以在任何云提供商中使用 Apache Airflow DAG 运算符，而不仅仅是 GKE。
Airflow-on-kubernetes-part-1-a-different-kind-of-operator 和Airflow Kubernetes Operator 一样的文章提供了如何使用 DAG 的基本示例。
另外，Explore Airflow KubernetesExecutor on AWS and kops 文章提供了很好的解释，并举例说明了如何在 AWS 上使用 airflow-dags 和 airflow-logs 卷。
例子：
from airflow.operators.python_operator import PythonOperator
from airflow.models import DAG
from datetime import datetime
import time
import os
args = {
'owner': 'airflow',
"start_date": datetime(2018, 10, 4),
}
dag = DAG(
dag_id='test_kubernetes_executor',
default_args=args,
schedule_interval=None
)
def print_stuff():
print("Hi Airflow")
for i in range(2):
one_task = PythonOperator(
task_id="one_task" + str(i),
python_callable=print_stuff,
dag=dag
)
second_task = PythonOperator(
task_id="two_task" + str(i),
python_callable=print_stuff,
dag=dag
)
third_task = PythonOperator(
task_id="third_task" + str(i),
python_callable=print_stuff,
dag=dag
)
one_task >> second_task >> third_task
【讨论】：