Kubernetes 隐藏每个节点限制 110 个 pod？答案

【问题标题】：Kubernetes hidden 110 pod per node limit?Kubernetes 隐藏每个节点限制 110 个 pod？
【发布时间】：2019-09-09 12:33:16
【问题描述】：

在尝试了各种提供程序（裸 kubernetes、openshift、aws eks）后，我们发现即使节点在达到约 110 个 pod 后有足够的资源（cpu、ram、hdd），新的 pod 仍处于挂起状态而没有任何事件或除事件外的错误

"Successfully assigned {namespace}/{pod_name} to {node_name}"

我们已经尝试在 kubelet、scheduler 等中搜索任何相关的日志 - 但除了前面提到的这个事件之外什么都没有。

是否有人成功地在每个节点上运行了 110 多个 Pod？我们做错了什么？

另外值得一提的是，在我们的例子中，它不是同一个 pod 的 110 个副本，而是来自不同部署/守护程序集的 110 个不同的 pod。当然，我们已经调整了 node pod_limit > 110。

【问题讨论】：

标签： kubernetes

【解决方案1】：

kunernetes 支持每个节点 110 个 pod。有来自多个渠道的请求来增加每个节点的 pod。

提高了 PR 以支持每个节点 500 个 Pod。它仍然是开放的。您可以通过以下链接跟踪状态

PR to support 500 pods per node

【讨论】：

但是，如果目前在 110 个 pod 之上仍然无法工作，那么为什么还有可能更改此限制呢？ aws eks 呢？此设置在此处无法管理，完全取决于实例类型。例如，m5.4xlarge 节点有 16 个内核和 64 GB RAM，可以提供 249 个 pod 容量（不知道亚马逊是如何计算的）。但它只是在达到 110 后停止运行新的 pod。

【解决方案2】：

虽然当前的扩展目标是 500 个 Pod/节点（请参阅 https://github.com/kubernetes/community/blob/master/sig-scalability/goals.md），但根据您所谈论的总节点数，您可能处于默认调度程序设置不再有用的领域。不幸的是，调度器调优有点像一门黑暗艺术，我建议在 sig-scaling Slack 频道寻求帮助。

【讨论】：