从 Google Cloud Datastore 到 BigQuery 的增量数据传输

Question

我们每天都在尝试通过使用 Compute Engine VM 实例将数据从 Google Cloud DataStore 复制到 BigQuery，但是对我来说将整个数据集复制到 BigQuery 的成本非常高，基本上我们只需要更新的数据（已更改的记录仅）我们不想使用 shell 脚本将整个表从数据存储复制到 bigquery。 请帮助我们解决这个问题...

Answer 1

当您将数据从数据存储区导出到 Bigquery you cannot append data to an existing table 时。您可以创建新表或覆盖现有表。无论哪种方式，您都必须从数据存储中导出所有实体或特定类型的实体，但不能只导出新数据。

可以在here 找到可以处理从数据存储区导出数据到 Bigquery 的示例脚本。

如果您想降低使用成本： - preemtibale instances 与普通实例相比非常便宜 --> 对于 cron 作业

我发现的另一种方法是this。但我不确定它是否会起作用，因为它是一个旧帖子并且它使用MapReduce API。