【发布时间】：2019-07-09 07:01:11
【问题描述】：
我最近看到 GCP 中有一个名为 Data Fusion 的新工具，并且看着它，与 Dataflow 相比，它似乎是创建 ETL 管道的一种更简单的方法。那么我们可以假设它是 Dataflow 的替代品吗？
【问题讨论】：
标签： google-cloud-platform google-cloud-dataflow
【发布时间】：2019-07-09 07:01:11
【问题描述】：
Data Fusion 不是 Dataflow 的替代品，而是一种补充。它支持混合集成，因为它基于称为 CDAP 的开源替代方案。它还具有当前在 Dataflow 中不可用的其他元数据和沿袭功能
【讨论】：
云数据融合基于 CDAP 一种开源管道开发工具。它提供可视化工具来构建 ETL/ELT 管道。它支持主要的 Hadoop 发行版（MapR、Harotonworks）和云（AWS、GCP、AZURE）来构建管道。在 GCP 中，它使用云数据处理集群来执行作业，并提供多个预构建的连接器来将源连接到接收器。它为您提供无代码管道开发。数据融合也是企业就绪的，提供数据沿袭、元数据管理。
Dataflow 是 GCP 中基于 Apache Beam 的完全托管服务，它提供统一的编程模型来开发可以在各种数据处理模式（包括 ETL、批处理计算和连续计算）上执行的管道。相同的代码可以处理批处理和实时处理，并且有很多选择来选择流水线部署的运行器。
【讨论】：
Apache Beam（Dataflow 为它提供运行时）是一个统一的编程模型，这意味着它仍然是“编程”，即——编写代码。您对代码有很多控制权，您基本上可以编写任何您想要调整您创建的数据管道的内容。 “统一”部分是关于能够在不同的运行时运行该代码。至少可以是 4 个，而 Dataflow 只是其中之一。检查compatibility matrix。你可能会不知所措。
CDAP(Data Fusion) 看起来更像是完全无需编码即可构建数据管道。 API 是可用的，以防万一当然需要，但目标是在不编码的情况下尽可能多地构建。
CDAP 很新，并不广为人知（基于github 统计数据）。在 ESB（企业服务总线）的辉煌时代，有很多类似的尝试创建无代码集成，虽然其中许多都非常成功，但总体而言，它们并没有像许多人希望的那样流行。话虽如此，由于很多人将 Data Fusion 与 Azure 的 Data Factory 进行比较，后者似乎在 Azure 上很受欢迎，所以谷歌云也可能试图缩小这一差距。
【讨论】：