EKS 自动缩放器 HA 配置

Question

我有以下配置：

• 使用 terraform 模块安装了 EKS https://github.com/terraform-aws-modules/terraform-aws-eks/blob/v4.0.2/examples/basic/main.tf
• 添加了多 asg 自动缩放器 (https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/cloudprovider/aws/README.md)
• 将工作组配置为每个 az 运行 1 个实例（在 az-1a 和 az-1b 中 和每个实例的 pod）

当我更改 POD 规格/配置时，我会看到下一个：

• 新实例创建（2 个运行）
  • 2 个 Pod 处于运行状态，1 个处于待处理状态
• 已创建新实例（3 个正在运行）
  • 2 个 Pod 处于运行状态（两者都更新了年龄）
  • 2 个 pod 在一个 az 中的实例上运行
  • 缩减超时后 1 az 中的 2 个正在运行的实例

是否有适当的方法来配置自动缩放器以在不同的 2 azs 中创建实例/pod？

Answer 1

这有两个层次。集群自动扩缩器实例位置，然后是 kubernetes pod 位置。

为每个可用区创建一个 Auto Scaling 组：

• 集群自动缩放器不支持跨越的 Auto Scaling 组 多个可用区；相反，您应该使用 Auto Scaling 为每个可用区分组并启用 --balance-similar-node-groups 功能。如果您确实使用跨多个可用区的单个 Auto Scaling 组，您会发现 AWS 意外终止节点而没有耗尽它们 因为rebalancing feature。

然后对于 kubernetes，在 EKS populated failure-domain.beta.kubernetes.io/zone label 上使用 pod anti-affinity。

EBS 卷不跨越可用区，因此如果您使用持久卷，您可能会遇到一个区域中的 pod 或无法调度的最坏情况下的 pod。