【问题标题】:Cloud Dataflow Job stuck with Checking permissions granted to controller Service AccountCloud Dataflow 作业卡在检查授予控制器服务帐户的权限
【发布时间】:2020-04-09 20:49:01
【问题描述】:

我正在运行一个云数据流作业,该作业应该将数据写入我项目的存储桶之一 该工作似乎卡在以下消息中

检查授予控制器服务帐户的权限

我不明白为什么这是因为存储桶属于我的项目。

有人可以帮忙吗? 亲切的问候 马可

【问题讨论】:

    标签: google-cloud-dataflow


    【解决方案1】:

    您的工作陷入了 Cloud Dataflow 服务连接到身份和访问管理 (IAM) 服务以验证启动工作虚拟机的权限的阶段。此处挂起通常表示 Google 基础架构出现故障,但我没有看到任何 problems reported(有一个 outage yesterday)。如果出现权限错误,您应该会收到一条日志消息来表明这一点。如果还有更多日志消息,请更新您的帖子以包含这些消息?如果没有,您需要向 Google 提交客户支持请求。

    【讨论】:

    • 谢谢安德鲁。我在想问题实际上出在我的工作中。我还有其他工作做类似的事情——虽然不完全相同——效果很好。需要进一步调试。顺便说一句,鉴于我在云上的套餐最低,我该如何填写客户支持票?我想我必须去论坛...
    • 遗憾的是,如果没有付费支持包,就无法提交支持请求。在您发布的日志消息之后应该有一些额外的日志消息,以指示出了什么问题。随着存储桶(临时和输出)与您的工作在同一个项目中,您应该不会遇到问题。您可以仔细检查以确保所有服务帐户和权限设置正确:cloud.google.com/dataflow/docs/concepts/…
    • 你好 Andrew,我设法通过替换一些涉及 pandas 数据帧和一些外部库的逻辑来让我的工作流写入存储桶。 (熊猫数据阅读器)。我推测可能是序列化或处理 pandas 或 pandas-datareader 的一些问题。尽管我进行了日志记录,但我没有收到任何额外的错误消息......你知道这样的事情吗?我会花一些时间缩减我的工作并调查正在发生的事情。谢谢
    • 有趣!必须有更多您可能已过滤掉的工作日志,因为此处发布的日志消息发生在启动任何用户代码之前。 (应该立即有一条关于启动工作虚拟机的消息。)数据流执行任意用户代码,因此在不知道您如何处理数据或写入存储桶的情况下,很难知道发生了什么。如果你最终得到一个孤立的例子,它会更容易调试。
    猜你喜欢
    • 2019-03-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-10-30
    • 2021-10-21
    • 1970-01-01
    相关资源
    最近更新 更多