【问题标题】:Dataflow template job FAIL cause of GCS ProblemGCS 问题的数据流模板作业失败原因
【发布时间】:2019-02-01 14:59:01
【问题描述】:

我的 jod id 是

2019-02-01_06_50_27-10838491598599390366

这是数据流批处理作业。带模板。

这是数据流错误代码。


2019-02-01 23:51:02.647 日本标准时间 EXT4-fs (dm-0):由于功能不兼容,无法安装为 ext3 2019-02-01 23:51:02.659 日本标准时间 EXT4-fs (dm-0):由于功能不兼容,无法安装为 ext3 2019-02-01 23:51:02.699 日本标准时间 EXT4-fs (dm-0):由于功能不兼容,无法安装为 ext3 2019-02-01 23:51:02.699 日本标准时间 EXT4-fs (dm-0):由于功能不兼容,无法安装为 ext3 2019-02-01 23:51:02.700 日本标准时间 EXT4-fs (dm-0):由于功能不兼容,无法安装为 ext3 2019-02-01 23:51:02.710 日本标准时间 EXT4-fs (dm-0):由于功能不兼容,无法安装为 ext3 2019-02-01 23:51:02.937 日本标准时间 EXT4-fs (dm-0):由于功能不兼容,无法安装为 ext3 2019-02-01 23:51:03.387 日本标准时间 EXT4-fs (dm-0):由于功能不兼容,无法安装为 ext3 2019-02-01 23:51:10.509 日本标准时间 初始化动态插件探测器时出错:错误(重新)创建驱动程序目录:mkdir /usr/libexec/kubernetes:只读文件系统 2019-02-01 23:51:10.511 日本标准时间 图像垃圾收集失败了一次。 Stats 初始化可能尚未完成:未能获取 imageFs 信息:无法找到容器的数据 / { insertId: "s=51b724ba020b4384acc382e634e62cbc;i=568;b=879cba75f5cd4eff82751e8f30ef312b;m=9a91b9;t=580d6461241e4;x=6549465094b7bc54"
jsonPayload:{…}
标签:{…}
日志名称:“projects/fluted-airline-109810/logs/dataflow.googleapis.com%2Fkubelet”
接收时间戳:“2019-02-01T14:51:18.883283433Z”
资源:{…}
严重性:“错误”
时间戳:“2019-02-01T14:51:10.511494Z”
} 2019-02-01 23:51:10.560 日本标准时间 [ContainerManager]:获取rootfs信息失败,无法找到容器/数据 2019-02-01 23:51:10.577 日本标准时间 初始化动态插件探测器时出错:错误(重新)创建驱动程序目录:mkdir /usr/libexec/kubernetes:只读文件系统 2019-02-01 23:51:10.580 日本标准时间 图像垃圾收集失败了一次。 Stats 初始化可能尚未完成:未能获取 imageFs 信息:无法找到容器的数据 / 2019-02-01 23:51:10.608 日本标准时间 [ContainerManager]:获取rootfs信息失败,无法找到容器/数据 2019-02-01 23:51:10.645 日本标准时间 初始化动态插件探测器时出错:错误(重新)创建驱动程序目录:mkdir /usr/libexec/kubernetes:只读文件系统 2019-02-01 23:51:10.646 日本标准时间 图像垃圾收集失败了一次。 Stats 初始化可能尚未完成:未能获取 imageFs 信息:无法找到容器的数据 / 2019-02-01 23:51:10.694 日本标准时间 [ContainerManager]:获取rootfs信息失败,无法找到容器/数据 2019-02-01 23:51:10.749 日本标准时间 初始化动态插件探测器时出错:错误(重新)创建驱动程序目录:mkdir /usr/libexec/kubernetes:只读文件系统 2019-02-01 23:51:10.751 日本标准时间 图像垃圾收集失败了一次。 Stats 初始化可能尚未完成:未能获取 imageFs 信息:无法找到容器的数据 / 2019-02-01 23:51:10.775 日本标准时间 初始化动态插件探测器时出错:错误(重新)创建驱动程序目录:mkdir /usr/libexec/kubernetes:只读文件系统 2019-02-01 23:51:10.777 日本标准时间 图像垃圾收集失败了一次。 Stats 初始化可能尚未完成:未能获取 imageFs 信息:无法找到容器的数据 / 2019-02-01 23:51:10.785 日本标准时间 [ContainerManager]:获取rootfs信息失败,无法找到容器/数据 2019-02-01 23:51:10.809 日本标准时间 初始化动态插件探测器时出错:错误(重新)创建驱动程序目录:mkdir /usr/libexec/kubernetes:只读文件系统 2019-02-01 23:51:10.811 日本标准时间 图像垃圾收集失败了一次。 Stats 初始化可能尚未完成:未能获取 imageFs 信息:无法找到容器的数据 / 2019-02-01 23:51:10.816 日本标准时间 [ContainerManager]:获取rootfs信息失败,无法找到容器/数据 2019-02-01 23:51:10.857 日本标准时间 [ContainerManager]:获取rootfs信息失败,无法找到容器/数据 2019-02-01 23:51:10.929 日本标准时间 初始化动态插件探测器时出错:错误(重新)创建驱动程序目录:mkdir /usr/libexec/kubernetes:只读文件系统 2019-02-01 23:51:10.931 日本标准时间 图像垃圾收集失败了一次。 Stats 初始化可能尚未完成:未能获取 imageFs 信息:无法找到容器的数据 / 2019-02-01 23:51:10.966 日本标准时间 [ContainerManager]:获取rootfs信息失败,无法找到容器/数据 2019-02-01 23:51:11.214 日本标准时间 初始化动态插件探测器时出错:错误(重新)创建驱动程序目录:mkdir /usr/libexec/kubernetes:只读文件系统 2019-02-01 23:51:11.216 日本标准时间 图像垃圾收集失败了一次。 Stats 初始化可能尚未完成:未能获取 imageFs 信息:无法找到容器的数据 / 2019-02-01 23:51:11.254 日本标准时间 [ContainerManager]:获取rootfs信息失败,无法找到容器/数据 2019-02-01 23:51:15.619 日本标准时间 PercpuUsage 有 0 个 cpu,但实际数量是 2;忽略额外的 CPU 2019-02-01 23:51:15.793 日本标准时间 PercpuUsage 有 0 个 cpu,但实际数量是 2;忽略额外的 CPU 2019-02-01 23:51:15.974 日本标准时间 PercpuUsage 有 0 个 cpu,但实际数量是 2;忽略额外的 CPU 2019-02-01 23:51:16.264 日本标准时间 PercpuUsage 有 0 个 cpu,但实际数量是 2;忽略额外的 CPU

【问题讨论】:

    标签: google-cloud-storage google-cloud-dataflow


    【解决方案1】:

    该作业的服务帐户是否可以访问 gs:// 存储桶?

    【讨论】:

    • 是的。在这个问题出现之前,我一直在使用那个桶。但它不能突然访问。我可以在 Web 控制台中访问,但不能在数据流中访问。我已经在单个亚洲地区创建了新的存储桶,然后它就可以工作了。如果这个问题可能是多区域的原因。数据流临时存储桶必须使用单区域 gcs。也许吧。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-08-05
    • 1970-01-01
    • 1970-01-01
    • 2018-02-07
    相关资源
    最近更新 更多