自动将引擎数据存储区数据推送到 bigquery 表答案

【问题标题】：Automatically push engine datastore data to bigquery tables自动将引擎数据存储区数据推送到 bigquery 表
【发布时间】：2014-12-31 19:31:34
【问题描述】：

为了将数据从数据存储移动到 bigquery 表，我目前遵循手动且耗时的过程，即备份到谷歌云存储并恢复到 bigquery。关于恢复部分的文档很少，所以这篇文章很方便http://sookocheff.com/posts/2014-08-04-restoring-an-app-engine-backup/

现在，有一篇貌似过时的文章（附代码）来做https://cloud.google.com/bigquery/articles/datastoretobigquery

然而，我一直在等待访问这个似乎可以自动化该过程的实验测试程序，但几个月都没有访问权限https://docs.google.com/forms/d/1HpC2B1HmtYv_PuHPsUGz_Odq0Nb43_6ySfaVJufEJTc/viewform?formkey=dHdpeXlmRlZCNWlYSE9BcE5jc2NYOUE6MQ

对于某些实体，我想将数据推送到大查询中（插入并可能更新）。对于更像商业智能类型的分析，每天推送就可以了。

那么，最好的方法是什么？

【问题讨论】：

标签： google-app-engine google-bigquery google-cloud-storage

【解决方案1】：

将数据输入到 bigquery 有三种方式：

通过用户界面
通过命令行
通过 API

如果您选择 API，那么您可以有两种不同的方式：“批处理”模式或流式 API。

如果您想“按时”发送数据，那么您需要使用流 API。每次您检测到数据存储上的更改（或者可能每隔几分钟一次，取决于您的需要），您都必须调用 API 的 insertAll 方法。请注意，您需要预先创建一个具有数据存储结构的表。（如果需要，这也可以通过 API 完成）。

对于您的第二个要求，即每天提取一次数据，您可以在 link you provided 中获得完整代码。您需要做的就是将 JSON 架构调整为您的数据存储的架构，并且您应该会做得很好。

【讨论】：