Google BigQuery 可以从 Google Play Developer Console 中的 Google Cloud Storage 私有文件夹中读取文件吗？答案

【问题标题】：Can Google BigQuery read files from Google Cloud Storage private folder from Google Play Developer Console?Google BigQuery 可以从 Google Play Developer Console 中的 Google Cloud Storage 私有文件夹中读取文件吗？
【发布时间】：2017-11-25 05:05:30
【问题描述】：

Google Play 开发者控制台提供对 Google Cloud Storage 文件夹的访问权限，其中包含我的应用的用户获取分析数据；

gs://pubsite_prod_rev_XXXXXXXX/acquisition/retained_installers

我可以让 BigQuery 从此数据源中读取数据吗？

如果没有，有什么方法可以将 Google Play 应用分析数据链接到 BigQuery（没有 Firebase）？

谢谢，

【问题讨论】：

标签： google-play google-bigquery google-cloud-platform google-cloud-storage

【解决方案1】：

是的，您可以query a federated table 文件存储在 GCS 上的位置。在 UI 中，您可以使用数据集旁边的下拉菜单打开添加表对话框，然后为外部表指定路径、文件类型等。

与 Firebase 链接或手动从 GCS 手动上传到 BigQuery 存储的好处是，由于内部优化的存储格式，您的查询会更快。

【讨论】：

您好，感谢您的回答。我认为该方法似乎存在一些问题，因为我在 GCP 中不拥有 Google 自己的 Play Cloud 文件夹。错误代码为“错误：您查询的表出现问题。请联系表所有者寻求帮助。”
您是否有失败查询的示例作业 ID（或者当您尝试创建表时是否会发生这种情况）？我想看看权限有什么问题。
创建失败表的作业 ID 为 'bigq-drd-1:bquijob_5281c88d_15cce748e91' 我的理解是 Google Play 必须允许我使用 BQ 读取此存储桶的权限。
我在我们这边的工作信息中没有看到任何更有用的信息，不幸的是，和你一样的错误。不过，要确认一下，您能否通过Cloud Storage browser 访问 GCS 上的文件？
详细错误是“在解析从位置开始的行时检测到错误：0。错误：遇到错误字符（ASCII 0）。”。可能是因为 google play 使用的是 UTF-16LE 编码...

【解决方案2】：

正如上面评论中提到的，google play 使用了不同的编码，无法直接加载到 bigquery 中。幸运的是，我们为此提供了一个新功能:)

请查看BigQuery Data Transfer Service。它没有提到 Google Play，因为这仍处于早期阶段。

如果你有兴趣，你可以

完成Before you begin 部分。该页面适用于 adwords，但前提是一样的
填写enrollment form，您会发现那里列出了游戏。
之后，我们将向您发送有关为 Google Play 提取数据的更多指南。

【讨论】：

感谢雪见，数据传输服务很好。