集群每天都意外重启

Question

最近我们在 Kubernetes Engine (GCP) 上创建了一个集群，我们开始注意到它有一个奇怪的行为。每天，节点都会在一天中的特定时间自动停止并重新创建，从而使应用程序在几分钟内不可用。

事件在 Stackdriver 信息中心中的显示方式：

为了了解问题的根本原因，我分析了 Stackdriver 中的日志，并参考了今天发生的事件（2017-12-19 12:22pm)。

集群日志：

与该事件相关的最近的条目是在 12:26pm（可能是集群恢复的那一刻）。

节点日志：

实例日志似乎也没有太大帮助。最接近事件的记录仅出现在 12:23pm（也在实例开始返回之后）。

以前有没有人遇到过这种情况，或者知道我们如何才能更好地调试它并发现导致这种行为的原因？

Stackdriver 日志中显然没有显示事件的原因。

Answer 1

所描述的行为与preemptible nodes in GKE 的行为方式非常相似（它们的寿命最长为 24 小时）。

如果您不确定您的节点是否可抢占，请检查 GCP WebUI（我的示例 下面，检查“可抢占节点”行），或通过 CLI：

$ gcloud compute instances list | grep gke | awk '{print $4}'

如果 CLI 命令将返回“true”，则表示节点是可抢占的（见下文）：

$ gcloud compute instances list | grep gke | awk '{print $4}'
true
true
true

注意：如果您在同一个项目下有多个 GKE 集群，请在 grep 命令后添加您的 GKE 集群名称。