【问题标题】：AWS and GCP centrally managed airflows and Dataflow equivalent for AWSAWS 和 GCP 集中管理 AWS 的气流和 Dataflow 等效项
【发布时间】：2019-08-24 13:56:52
【问题描述】：
我有两个问题要问：
所以我的公司有 2 个正在运行的气流实例，一个在 GCP 上
预置集群和另一个在 AWS 预置集群上。自从
GCP有Composer，可以帮你管理气流，有没有办法
将 AWS 集群上的气流 DAG 集成为
也由 GCP 管理？
对于批处理 ETL/流式处理作业（在 python 中），GCP 具有数据流（Apache
梁）为此。 AWS 相当于什么？
谢谢！
【问题讨论】：
标签：
amazon-web-services
google-cloud-platform
airflow
【解决方案1】：
不，你不能这样做，直到现在你必须使用 AWS，自己配置和管理。您可以选择一些选项：EC2、ECS + Fargate、EKS
Dataflow 等效于 Amazon Elastic MapReduce (EMR) 或 AWS Batch Dataflow。此外，如果您想运行当前的 Apache Beam 作业，您可以在 EMR 中配置 Apache Beam，一切都应该相同