【问题标题】:All pods get restarted while cluster auto upgrade is disabled在禁用集群自动升级时,所有 pod 都会重新启动
【发布时间】:2019-03-15 22:30:56
【问题描述】:

集群禁用了自动升级。今天早上(2018 年 10 月 10 日,太平洋标准时间上午 10:00 左右),几乎所有的 pod 都重新启动了。 有没有可能与 K8s 或 GKE 新版本发布有关? 如果不是,重启的原因是什么?

【问题讨论】:

    标签: kubernetes google-kubernetes-engine


    【解决方案1】:
    • 当您禁用自动升级时,请确保禁用此功能(自动升级)不会停止正在进行的升级。
    • 您是否在集群中的所有节点池上禁用了自动升级并检查是否正在进行任何升级?

    【讨论】:

    • 自集群创建以来自动升级一直处于关闭状态。
    • 从操作日志中,一些服务机器人 (service-162094290216@container-engine-robot.iam.gserviceaccount.com) 在 2018 年 10 月 10 日 7:45 重新创建了我的整个集群:上午 29 点,自动升级一直处于关闭状态。现在新集群使用更新的 1.10.6-gke.2。
    【解决方案2】:

    在不查看 pod 事件和其他日志的情况下,通过假设节点也重新启动,我可以推测对运行节点的数据中心的物理元素进行了紧急维护操作。这可以从操作历史记录和 Stackdriver 日志等中确认。

    另外,查找导致 pod 重启的节点耗尽资源(OOM 杀手)。

    【讨论】:

    • 你是对的。从操作历史记录来看,一些服务机器人 (service-162094290216@container-engine-robot.iam.gserviceaccount.com) 在 2018 年 10 月 10 日上午 7:45:29 重新创建了我的整个集群,而自动升级是一直关闭。现在新集群使用更新的 1.10.6-gke.2。
    • 自动升级选项仅适用于节点池。可以随时在 GKE by Google 上触发主升级。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-01-26
    • 2022-06-10
    • 2018-10-12
    相关资源
    最近更新 更多