为什么 Kubernetes pod 在它们的限制重叠时会随机失败？

Question

我有一个单节点 Kubernetes 集群，它显示 10Gi、3 个 CPU 可用（总共 16Gi、4CPU）用于在集群启动后运行 Pod。我正在尝试两种不同的场景：

Scenario-1. 
   Running 3 pods individually with configs(Request,Limit) as: 
   Pod-A: (1 Gi,3.3Gi) and (1 cpu,1 cpu)
   Pod-B: (1 Gi,3.3Gi) and (1 cpu,1 cpu)
   Pod-C: (1 Gi,3.3Gi) and (1 cpu,1 cpu)

在这种情况下，应用程序会在相应的 pod 中完美启动，并按预期正常工作。

Scenario-2. 
   Running 3 pods individually with configs(Request,Limit) as: 
   Pod-A: (1 Gi,10 Gi) and (1 cpu,3 cpu)
   Pod-B: (1 Gi,10 Gi) and (1 cpu,3 cpu)
   Pod-C: (1 Gi,10 Gi) and (1 cpu,3 cpu)

在第二种情况下，应用程序在相应的 Pod 中启动，但在对这些 Pod 中的任何一个施加一些负载后随机失败，即有时 Pod-A 宕机，有时是 Pod-2 或 Pod-3。在任何时候，我都无法同时运行所有三个 pod。

我可以在失败的 pod 中看到的唯一事件如下

“The warning which is available in node logs says "Warning CheckLimitsForResolvConf 1m (x32 over 15m) kubelet, xxx.net Resolv.conf file '/etc/resolv.conf' contains search line consisting of more than 3 domains!.”。

日志中只有这些信息，我无法找出 Pod 随机失败的实际原因。

谁能帮助我了解配置是否有问题或者我还缺少什么？

谢谢

Answer 1

当您创建 Pod 时，Kubernetes 调度程序会选择一个节点供 Pod 运行。 每个节点对每种资源类型都有一个最大容量：它可以为 Pod 提供的 CPU 和内存量。调度器确保对于每种资源类型，调度的Containers的资源请求总和小于节点的容量。

注意虽然节点上的实际内存或 CPU 资源使用率非常低，但如果 容量检查失败，调度程序仍会拒绝在节点上放置 Pod。这可以防止在以后资源使用量增加时（例如，在请求率的每日峰值期间）出现节点资源短缺。

所以调度后如果一个Container超过了它的内存请求，很可能只要节点内存不足，它的Pod就会被驱逐

请参考Default Hard Eviction Threshold values。

kubelet 具有以下默认的硬驱逐阈值：

memory.available<100Mi
nodefs.available<10%
nodefs.inodesFree<5%
imagefs.available<15%

您应该在负载运行时跟踪您的Node Conditions。

kubelet 将一个或多个驱逐信号映射到相应的节点条件。

如果已达到硬驱逐阈值，或已满足软驱逐阈值，与其关联的宽限期无关，kubelet 会报告反映节点处于压力之下的条件，即MemoryPressure 或DiskPressure