Dataprep vs Dataflow vs Dataproc答案

【问题标题】：Dataprep vs Dataflow vs DataprocDataprep vs Dataflow vs Dataproc
【发布时间】：2018-11-29 01:25:10
【问题描述】：

要执行源数据准备、数据转换或数据清理，我们应该在哪种情况下使用 Dataprep、Dataflow 和 Dataproc？

【问题讨论】：

【解决方案1】：

数据准备/转换/清理任务都可以看作是 ETL 过程，可以使用您提到的任何产品来实施。 This 较早的答案涵盖了 Dataflow 与 Dataproc 问题的基础知识，并包含 this 链接，该链接总结了在这三者之间进行选择时应记住的内容。

简而言之，您应该考虑熟悉程度（您是否已经使用过 Hadoop 生态系统工具？Beam 编程模型？您更愿意通过 UI 工作吗？）和所需的控制级别（dataproc 允许对集群、数据流进行更多控制）和 dataprep 是完全托管的服务）。

更多好读物：

【讨论】：

【解决方案2】：

Dataproc 和 Dataflow 都是谷歌云上的数据处理服务。这两个系统的共同点是它们都可以处理批处理或流数据。两者还具有更易于使用的工作流模板。但以下是两者的区别

Dataproc 旨在在集群上运行。这使其与 Apache Hadoop、hive 和 spark 兼容。创建集群的速度明显更快，并且可以在不中断正在运行的作业的情况下自动扩展集群。

如果您的数据没有使用 spark 或 Hadoop 实现，数据流会更好。它不在集群上运行，而是基于并行数据处理。由于此类数据在多个微处理器上进行拆分处理，以减少处理时间。

【讨论】：

【解决方案3】：

关于 Dataproc 的重要说明是，Dataprep 提供数据清理功能并自动识别数据中的异常情况。它与 Cloud Storage、BigTable 和 BigQuery 集成

【讨论】：