【问题标题】:Setting up Dataflow with Pubsub to BigQuery gives error使用 Pubsub 到 BigQuery 设置数据流会出错
【发布时间】:2018-12-05 22:34:59
【问题描述】:

读取错误消息。我已经检查并启用了所需的 API,服务帐户在那里并且具有数据流代理角色。 GCS 存储桶就在那里。

Workflow failed. Causes: Network default is not accessible to Dataflow Service account or does not exist 

有人可以帮帮我吗?

【问题讨论】:

  • 你能提供更多细节吗?您使用的是什么 SDK + 版本?您的管道是否能够在不写入 BQ 的情况下从 pubsub 读取?其他方式呢?

标签: google-cloud-dataflow


【解决方案1】:

您似乎没有default VPC 网络。您可以在VPC networks page 上确认这一点。如果您使用特定的 VPC 网络或共享 VPC 网络来运行您的 Dataflow 管道,您可以查看 this document,其中说明了如何指定 network and a subnetwork in a pipeline

希望对你有帮助。

【讨论】:

  • 我确实将默认 vpc 配置为 18 个子网,并将模式设置为自动。和防火墙规则有关系吗?
  • 是的,也可能与防火墙规则有关。由于这需要检查您的项目的配置,我建议向GCP support team提交案例
猜你喜欢
  • 2018-09-05
  • 1970-01-01
  • 1970-01-01
  • 2021-05-23
  • 2021-03-18
  • 2019-03-25
  • 2022-11-01
  • 2018-10-13
  • 2020-04-20
相关资源
最近更新 更多