我正在尝试将我们组织的 hadoop 作业迁移到 GCP...我对 GCP Data Flow 和 Data Proc 感到困惑...
我想重用我们已经创建的 Hadoop 作业，并尽可能减少对集群的管理。我们还希望能够在集群生命周期之外持久保存数据...
谁能推荐
【问题讨论】：
标签： hadoop google-cloud-platform google-cloud-dataflow google-cloud-dataproc
我会从 DataProc 开始，因为它非常接近您所拥有的。
查看 DataProc 初始化操作，https://cloud.google.com/dataproc/docs/concepts/configuring-clusters/init-actions，创建一个简单的集群并感受一下。
DataFlow 是完全托管的，您不操作任何集群资源，但同时您无法将现场集群迁移到 DataFlow，您需要迁移（有时重写）您的 Hive/Pig/Oozie 等。
DataFlow 的成本计算方式也不同，尽管与 DataProc 相比没有前期成本，但每次运行作业时都会在 DataFlow 上产生一些与之相关的成本。
【讨论】：
很大程度上取决于您的 Hadoop 作业的性质以及您在选择 Cloud Dataproc（托管大数据平台 - 面向 Hadoop/Spark）和/或 Cloud Dataflow（托管大数据平台 - Apache Beam 用于流式传输用例的方向）。
关于确保数据在操作之外的持久性，您可能需要考虑将数据存储在 GCS 或 PD 上（如果这是您的用例需要的一个选项）。
【讨论】：