Kubernetes heapster 在 GKE 上报告过多的指标答案

【问题标题】：Kubernetes heapster excessive metric reporting on GKEKubernetes heapster 在 GKE 上报告过多的指标
【发布时间】：2016-01-05 07:33:59
【问题描述】：

我在 Google Container Engine (GKE) 上运行一个小型 3 节点 kubernetes 集群，并将指标记录到 Google Cloud Monitoring (GCM)。最近我注意到指标不再报告给 GCM。 heapster 日志显示请求因超出 GCM 配额而被拒绝。

在 Google Developers Console 上查看 API 管理器，我发现使用量超过了 50000 个请求/天的配额。

现在，每次我启动 heapster pod 时，它都会以平均 2-5 req/s 的速度敲击 GCM 接收器。

我尝试增加 heapster sink_frequency 参数，但这只会导致更多的请求，更少的频率，随着时间的推移加起来相同的数量。

主节点和节点都在最新的 Kubernetes 版本 1.1.3 上。

有人在 GKE 上看到过这个吗？我能做些什么来恢复对 GCL 的合理请求？目前，在配额用完之前，我每天只能获得几个小时的指标。

【问题讨论】：

标签： google-kubernetes-engine

【解决方案1】：

答案在某种程度上取决于您的设置，但听起来您正在尝试自行设置 Heapster，并启用了 Google Cloud Monitoring (“gcm”) 接收器。此设置在使用配额方面存在明确问题，不建议 GKE 用户使用。您可以通过增加 stats_resolution 选项来稍微减少请求的数量，以便推送到 GCM 的数据更少，但最好还是切换到 GKE 的内置 GCM 集成。

您可以通过从集群中删除自定义配置的 Heapster pod/复制控制器来启用内置集成，然后通过运行 gcloud alpha container clusters update CLUSTERNAME --monitoring-service=monitoring.googleapis.com 确保为您的集群启用云监控。然后，您应该能够在 UI 中找到您的指标（在一次延迟最多一小时之后），如 this recent blog post on GKE and GCM 中所述。

【讨论】：

是的，你是对的。我遇到了一个问题，即 GCM 刚刚停止接收来自 GKE 的指标（所有图表上“未找到图表数据”）。然后我向 Heapster 查询它的接收器并得到一个空的响应。认为 GCM 接收器丢失了，我通过 Heapster API 手动添加了它。事后看来，这不是正确的做法，这就是让我陷入配额混乱的原因。现在，在重新启动 Heapster pod 几次后，指标又回到了 GCM 中。我不知道gcloud alpha 命令，谢谢提示！此外，这篇博文读起来很有趣。感谢您的回复！