Cloud Data Fusion Pipeline 中的 SCD 类型 2 实施

【问题标题】：SCD type 2 implementation in Cloud Data Fusion PipelineCloud Data Fusion Pipeline 中的 SCD 类型 2 实施
【发布时间】：2019-12-12 11:28:51
【问题描述】：

我需要在我的数据融合管道中应用 SCD2，我的源数据是 GCS，目标是 BigQuery。我已经创建了管道并且能够将数据加载到目标 BigQery 中，所以现在我想将合并和更新过程作为 SCD2 的一部分来实现。你能帮我吗，因为我是谷歌云数据融合的新手。

【问题讨论】：

在管道末尾使用BigQuery Execute Action 插件，将 SCD2 逻辑作为 sql 语句，这应该可以工作。

标签： google-cloud-data-fusion scd2

【解决方案1】：

@phaneendra 的方法是一种可能的解决方案。无论如何，Data Fusion 旨在以无代码的可视化方式使用。如果您想利用它的潜力，我建议您使用 Wrangler 进行数据转换。在 Google 的文档中，您可以找到一个有趣且快速的 tutorial，了解如何使用它来清理、转换和处理客户数据。然后，您只需像现在一样使用BigQuery plugin 接收转换后的数据。

【讨论】：