允许 Dataflow 读取指向 Drive 的 BigQuery 表？答案

【问题标题】：Permissioning Dataflow to read a BigQuery table that is pointing to Drive?允许 Dataflow 读取指向 Drive 的 BigQuery 表？
【发布时间】：2016-10-17 12:38:45
【问题描述】：

BigQuery 可以作为联合来源从 Google 云端硬盘中读取数据。见here。我希望能够将 BigQuery 中的表读取到指向云端硬盘文档的 Dataflow 管道中。

将 BigQuery 连接到云端硬盘中的文件可以正常工作：

但是，当我尝试将该表读入我的 Dataflow 管道时，我（可以理解）收到以下错误：

没有找到合适的凭据来访问 Google 云端硬盘。联系表所有者寻求帮助。

[..]
PCollection<TableRow> results = pipeline.apply("whatever",
BigQueryIO.Read.fromQuery("SELECT * from [CPT_7414_PLAYGROUND.google_drive_test]"))
.apply(ParDo.of(new DoFn<TableRow, TableRow>() {
[..]

如何允许 Dataflow 能够读取 BigQuery 中指向云端硬盘的表？

【问题讨论】：

你可以在这里阅读一些细节stackoverflow.com/questions/37756157/…。据我了解，您还需要申请云端硬盘权限。

标签： google-drive-api google-bigquery google-cloud-dataflow

【解决方案1】：

Dataflow 目前不支持从 Drive 支持的联合表中读取数据，但这即将推出。

【讨论】：

无赖。大致了解我们什么时候可以期待它？这将极大地帮助我们的业务用户。