EC2 上的 KubernetesExecutor worker (EKS) 和 webserver+scheduler 的气流

Question

我想知道是否可以在 Airflow 上设置 KubernetesExecutor，但让 Web 服务器和调度程序在 EC2 上运行？

这意味着任务将在 Kubernetes pod（在我的例子中为 EKS）上运行，但在常规 EC2 上运行基础服务。

我试图查找有关该问题的信息，但失败了...

以下引用来自 Airflow 的 docs，这就是我问这个问题的原因

KubernetesExecutor runs as a process in the Airflow Scheduler. The scheduler itself does not necessarily need to be running on Kubernetes, but does need access to a Kubernetes cluster.

提前致谢！

Answer 1

是的，这是完全可能的。

您只需要在 EC2 上运行 airflow scheduler 和 airflow webserver 并将 EC2 实例配置为拥有所有必要的访问权限（可能通过服务帐户 - 但这是您的决定和部署配置），以便能够旋转 pod在您的 EKS 集群上。

除了您必须学习如何运行和配置组件以相互通信之外，没有什么特别之处 - 没有现成的配方，您只需遵循 Airflo 的配置参数和身份验证您需要的方案。