【问题标题】:PubSub resource setup failing for Dataflow job when assigning timestampLabel分配 timestampLabel 时 Dataflow 作业的 PubSub 资源设置失败
【发布时间】:2017-06-03 08:03:29
【问题描述】:

修改我的作业以在从 PubSub 读取时开始使用 timestampLabel 后,每次我尝试启动作业时资源设置似乎都会中断,并出现以下错误:

(c8bce90672926e26): Workflow failed. Causes: (5743e5d17dd7bfb7): Step    setup_resource_/subscriptions/project-name/subscription-name__streaming_dataflow_internal25: Set up of resource /subscriptions/project-name/subscription-name__streaming_dataflow_internal failed

project-namesubscription-name 代表我的项目的实际值和我试图从中读取的 PubSub 订阅。在尝试在消息条目上附加 timestampLabel 之前,该作业正常工作,使用来自指定 PubSub 订阅的消息,这应该意味着我的 API/网络设置正常。

我还注意到有效载荷的两个警告

Internal Issue (119d3b54af281acf): 65177287:8503

但在工作人员日志中找不到更多信息。在我的工作设置的几秒钟内,我可以看到在管道的第一步中设置了timestampLabel。不幸的是,我找不到有关此错误的任何其他案例或文档。

【问题讨论】:

  • 失败作业的作业 ID 是什么?
  • @BenChambers 其中之一是 2017-01-18_09_26_55-6088470432791782708。谢谢!

标签: google-cloud-platform google-cloud-dataflow apache-beam


【解决方案1】:

使用timestampLabel 功能时,会创建第二个订阅以进行跟踪。仔细检查您主题的权限设置,确保它与permissions required 匹配。

【讨论】:

  • 谢谢本!我们正在阅读 PubSub 跨项目,并在创建这些资源后按订阅/主题授予权限。我必须授予第二个项目 PubSub 编辑权限(在主项目中)才能使其正常工作。
猜你喜欢
  • 1970-01-01
  • 2016-11-26
  • 2020-07-06
  • 1970-01-01
  • 1970-01-01
  • 2016-05-31
  • 1970-01-01
  • 2021-11-01
  • 1970-01-01
相关资源
最近更新 更多