Pod 卡在 ContainerCreating 中并显示“无法为容器分配 IP 地址”答案

【问题标题】：Pods stuck in ContainerCreating with "failed to assign an IP address to container"Pod 卡在 ContainerCreating 中并显示“无法为容器分配 IP 地址”
【发布时间】：2019-07-28 18:53:57
【问题描述】：

在滚动更新消息后，600 个 pod 部署的多个 pod 卡在ContainerCreating：

创建 pod 沙箱失败：rpc 错误：code = Unknown desc = NetworkPlugin cni 设置 pod 网络失败：添加 cmd：无法为容器分配 IP 地址

我尝试过的：

在 EKS 和 CNI 1.5.0 上升级到 v1.12。 This issue was closed stating CNI 1.5.0 solved the issue. 它不适合我们。在另一个线程leaking ENIs was blamed，但也因 CNI 升级而关闭。
Installed cni-metrics-helper 这是输出的快照：

maxIPAddresses, value: 759.000000
ipamdActionInProgress, value: 1.000000
addReqCount, value: 16093.000000
awsAPILatency, value: 564.000000
delReqCount, value: 32337.000000
eniMaxAvailable, value: 69.000000
assignIPAddresses, value: 558.000000
totalIPAddresses, value: 682.000000
eniAllocated, value: 69.000000

CNI 指标输出是否表明存在问题？好像有足够的IP。

我还能尝试调试什么？

【问题讨论】：

你有 DNS 服务在运行吗？
@Vishrant 是的。使用 3 个副本运行 kube-dns 部署。
您使用的是什么实例类型？
@ClaesMogren t2.large
我看到的唯一情况是所有的 ENI 都已分配，没有任何剩余，但 IP 仍然可用。

标签： kubernetes amazon-eks

【解决方案1】：

您的子网中的 IP 地址似乎已达到最大数量，documentation 中可能会建议这样的事情：

maxIPAddress：可用于的最大IP地址数集群中的 Pod。（假设子网中有足够的 IP）。

还请查看 maxUnavailable 和 maxSurge 参数，这些参数控制滚动升级期间出现的 POD 数量 - 也许您的配置假设在滚动升级期间您将拥有超过 600 个 POD（例如 130%）并且达到限制您的 AWS 网络。

【讨论】：