在 BigQuery 中更新 Shopify 客户级别数据的最佳方式

Question

我正在考虑将我们的 shopify 数据移至 BigQuery 以进行报告。我从 shopify API 对客户端点进行分页并获取所有客户级别的数据。然后我将其导出到我存储在谷歌云存储上的 csv 中，然后导入到 BigQuery。我的问题是处理增量数据加载的最佳方法是什么，因为当前客户数据集市上的某些条目（例如，总订单数）可能已经更改，并且自上次表更新以来可能已经创建了一些新客户.任何有关设计模式的建议将不胜感激。非常感谢

Answer 1

要处理在 GCS（源）上加载且目标是 Bigquery 的增量数据，您有几个 Google 选项：-

1. 数据流：- 您可以创建数据流管道并将增量数据加载到 Bigquery（中间表）。在 Bigquery 中间表上加载数据后，您可以计算加入 2 个表（目标和中间表）的当前状态并获取附加到目标 Bigquery 表的最新数据。 数据计算可以通过预定的 Dataflow 管道或预定的 Bigquery 来完成。

2. DataPrep:- Here 你可以参考，如何创建 ETL Pipeline。您可以添加目标（BigQuery 表）作为参考。