【问题标题】:Unable to access bq status from command line during Dataflow + BigQuery job在 Dataflow + BigQuery 作业期间无法从命令行访问 bq 状态
【发布时间】:2017-04-25 20:28:54
【问题描述】:

我正在提交一个读取和写入 BigQuery 数据集和表的 Dataflow 作业。数据流作业似乎工作正常。

在执行 Dataflow 作业期间,Dataflow UI 告诉我,我可以通过使用 bq 工具运行命令来检查 BigQuery 导出作业的状态。

当我运行该命令时,我收到一条消息,提示我无权查看状态。这与提交 Dataflow 作业的经过身份验证的帐户相同。

BigQuery error in show operation: Access Denied: Job
bigquery-public-data:dataflow_job_2795433454065247350: The user
first.last@email.com does not have permission to access the job
bigquery-public-data:dataflow_job_2795433454065247350.

可能存在哪些不正确的安全设置导致这种情况发生?


我正在运行的命令是

bq show -j --project_id=bigquery-public-data dataflow_job_2795433454065247350

【问题讨论】:

  • 您能提供您的数据流作业 ID,我可以看一下吗?你运行了什么命令?您可以使用 作为项目名称。我很惊讶它会在 bigquery-public-data 项目下,因为我相信这是一个世界可读的 bigquery 项目。这与您输入的项目名称是否匹配?
  • @LaraSchmidt 我已将此添加到问题中。我正在阅读 bigquery-public-data 项目(只是玩具数据),这就是 Dataflow UI 指示我使用的内容。
  • 可能是 Dataflow 中的一个错误,它显示您要从中导出的项目而不是您自己的项目。你能执行bq show -j --project_id=<your project name> dataflow_job_2795433454065247350吗?
  • @ElliottBrossard 是的——就是这么简单。谢谢:)
  • 正要建议。 :) 我会做一个笔记来解决这个问题。谢谢。

标签: google-bigquery google-cloud-dataflow


【解决方案1】:

在这种情况下,我们的项目 ID 错误。您可以使用运行数据流作业的项目来找到它,因为这是作业所在的位置。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2016-01-30
    • 1970-01-01
    • 2013-11-30
    • 2012-12-15
    • 2014-10-20
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多