数据流需要 bigquery.datasets.get 授权视图中基础表的权限

Question

在数据流管道中，我从 BigQuery 授权视图中读取数据：

beam.io.Read(beam.io.BigQuerySource(query = "SELECT col1 FROM proj2.dataset2.auth_view1", use_standard_sql=True))

这是我得到的错误：

错误： 消息：访问被拒绝：数据集 proj1:dataset1：用户 xxxxxx-compute@developer.gserviceaccount.com 没有数据集 proj1:dataset1 的 bigquery.datasets.get 权限。

proj1:dataset1 具有视图 auth_view1 的基表。

根据 DataflowJavaSDK 中的this 问题，dataflow 似乎正在直接对基础表执行一些元数据查询。

Apache Beam SDK 中是否有针对此问题的修复程序？

Answer 1

显式设置查询位置也是 Apache Beam Java SDK 中的一种解决方案，使用 BigQueryIO 的 withQueryLocation 选项。

在Python SDK 中似乎还不能设置查询位置。