DataFlow worker BigQuery 权限错误

Question

我一直在尝试在我的 GCP 帐户分配有“所有者”角色的项目中执行数据流管道 (Python)。

管道执行以下任务。

1. 从 BigQuery（运行 Dataflow 流水线的同一项目）读取数据。
2. 应用一些转换
3. 最终将结果数据加载到 GCS

据我了解，Dataflow 工作人员使用默认计算引擎服务帐户 (-compute@developer.gserviceaccount.com) 访问 GCP 上的其他服务，包括 BigQuery 和 -compute@developer.gserviceaccount.com 具有“编辑”角色。

但是当我尝试使用 DataflowRunner 运行管道时出现以下错误。

错误：

BigQuery 执行失败。，错误：消息：访问被拒绝：项目：用户在项目中没有 bigquery.jobs.create 权限。 HTTP 代码：403

使用 DirectRunner 运行良好。

我还尝试通过将 DataFlow worker 和 Dataflow Admin 角色分配给
来运行此管道 -compute@developer.gserviceaccount.com 尽管这具有“编辑”角色。但是这个管道失败并出现同样的错误。

能否请您提供意见以解决此问题？

执行命令：

python -m bigquery_to_gcs --input gs:///input --output gs:///results/output.txt --project --region us-central1 --staging_location gs:/ //staging --temp_location gs:///tmp --runner DataflowRunner

Answer 1

如Dataflow security and permissions doc 部分所述，您需要为两个帐户设置适当的 BigQuery 访问角色。在您的情况下，使用BigQuery Job User 或BigQuery Userrole 获得bigquery.jobs.create 权限。

这两个帐户是：

• 您用于运行 Dataflow 作业的 Google Cloud 帐户。
• 运行 Dataflow 作业的工作人员服务帐号。

对于工作人员服务帐户，您可以使用带有编辑角色的-compute@developer.gserviceaccount.com，因为它已经拥有bigquery.jobs.create 权限。

您用于运行 Dataflow 作业的 Google Cloud 帐户，是您需要修复并正确设置 BigQuery 访问角色的帐户。。 p>

您是如何使用此帐户的？这是以下方法之一：

• 你运行gcloud auth application-default login，它是一个名义上的用户，比如Anjan.B@gmail.com
• 当您运行python -m 命令时，您被重定向到一个网络流以选择像Anjan.B@gmail.com 这样的名义用户
• 您运行 export GOOGLE_APPLICATION_CREDENTIALS=/path/to/service/account/key.json，它是一个服务帐户