GCP 实例组自动扩展意外工作

Question

我在 GCP 上有一个包含 1 到 15 个实例的自动扩展实例组。横向扩展规则是 CPU 负载超过 50%。未启用缩减控件。但我有所有 15 个实例不断运行。监控显示，在过去 12 小时内，5 个实例的 CPU 负载超过 80%（高达 300%（什么？）），10 个实例的 CPU 负载低于 5%。为什么这 10 个实例在不使用的情况下仍在运行？我预计最多有几个备用实例，而其他实例已满载。但不是多 2 倍的备用实例。为什么会这样？如何让它按预期工作？

组自动缩放选项如下：

autoscaler:
  autoscalingPolicy:
    coolDownPeriodSec: 180
    cpuUtilization:
      utilizationTarget: 0.5
    maxNumReplicas: 15
    minNumReplicas: 1
    mode: ON
    scaleInControl:
      maxScaledInReplicas:
        fixed: 1
      timeWindowSec: 60
  creationTimestamp: '2020-12-04T01:46:57.815-08:00'
  id: '***'
  kind: compute#autoscaler
  name: ***
  recommendedSize: 10
  selfLink: https://www.googleapis.com/compute/v1/projects/***/zones/europe-west4-a/autoscalers/***
  status: ACTIVE
  target: https://www.googleapis.com/compute/v1/projects/***/zones/europe-west4-a/instanceGroupManagers/***
  zone: https://www.googleapis.com/compute/v1/projects/***/zones/europe-west4-a

Answer 1

名为 Predictive Auto Scaling PAS 的功能可能是 MIG 通过 CPU 指标进行扩展的原因，但我仍然不确定您的集群是否启用了此功能。 PAS 了解到，每天（或一周中的特定日期）此时有一个负载峰值，并且它会做出相应的反应（即使今天是不寻常的并且峰值没有发生）。 PAS 决定通过预测算法扩大规模。

如果您为 MIG“your-mig”运行以下命令，以验证和证明 MIG 将从原始指标扩展

gcloud alpha compute instance-groups managed update-autoscaling GROUP \
--cpu-utilization-predictive-method none

Answer 2

如何在实例之间分配工作很重要。

Autoscaler 提供足够的实例以满足您的实例的目标平均利用率。如果您的组有一些高度使用的实例和一些空闲的实例，则可能是在实例之间分配工作的逻辑存在问题。假设新创建的实例能够从高利用率的实例中分担部分工作，水平扩展效果很好。

需要检查的一些事项：

1. 您使用负载平衡器吗？根据运行状况检查，目标 VM 是否正常？
2. 您的应用程序是否具有均匀负载，或者某些节点（例如领导者）正在做额外的工作。