从“运营商”集群监控 k8s 应用程序答案

【问题标题】：Monitor k8s apps from "operator" cluster从“运营商”集群监控 k8s 应用程序
【发布时间】：2020-07-06 06:00:45
【问题描述】：

我们有几个 K8S 集群，我们需要从一个运营商集群（集群 A）监控它们我们在每个集群上使用 Prometheus 来监控集群本身，现在我们还想从应用程序的特定 api 进行监控，它会告诉我们集群（根据我们的特定服务）是否是功能性的，我不是在谈论监控集群，我们希望运营商在每个集群上监控 3 个应用程序（所有 3 个应用程序都部署在所有受监控的集群上）

集群 A（操作员）应监控集群 B、C、D 等上的服务/应用程序

例如运营商集群将调用集群A中已部署的应用程序，如host://app1/status，以获取0或1的状态，并将状态保存在某个数据库中。（可能是 prometehusDB）并在集群外报告它们。

目前经过一番搜索，我找到了这个选项，但也许还有更多我不知道的选项

使用黑盒导出器 - https://github.com/prometheus/blackbox_exporter
创建我自己的程序（在 golang 中），它会像一个 cronjob 并且将使用 prom lib 在操作员集群中运行。

https://github.com/prometheus/client_golang

我的意思是运行一个休息调用并使用 Prometheus api 通过 go "github.com/prometheus/client_golang/prometheus/promhttp" 代码将状态存储在 Prometheus tsdb 中。但不确定如何..

联邦??

另外，如果我能够将集群中的所有数据收集到 operator 集群中，我应该如何以及在哪里保存它？在普罗米修斯数据库 tsdb 中？其他方式？

支持我们的案例的最佳实践应该是什么？我们应该怎么做？

【问题讨论】：

这里有理由不使用普通的 Prometheus 联邦吗？
@coderanger - 感谢重播，我们已经考虑过了，我们想使用灭霸但是因为我们有一些产科医师可以将数据发送到本地系统，我们将在稍后进行，现在我们需要使用一些内部监控系统，对于我提到的两个选项，你建议什么？

标签： kubernetes prometheus prometheus-operator prometheus-blackbox-exporter

【解决方案1】：

我已经看到您虽然使用了灭霸，但它还不错，我们已经在生产环境中运行了一段时间。但它不符合我们的要求，你的看起来对我们很熟悉，所以我建议你看看 VictoriaMetrics 你在这里有一篇不错的文章：https://medium.com/faun/comparing-thanos-to-victoriametrics-cluster-b193bea1683

他们对 Slack 的支持也是一大亮点！祝你好运！

【讨论】：

【解决方案2】：

理想情况下，您会检测您的代码并公开 Prometheus 兼容指标以满足监控的任何需求。但是，对于黑盒和/或第 3 方监控/烟雾测试，有一些话要说。

Blackbox Exporter 中的 http 模块可能是您想要的（我之前也使用过类似的）。如果这对于您需要进行的测试不够灵活，我喜欢在 Lambda 中运行自定义测试脚本，将结果记录在 Cloudwatch 中（如果在 AWS 中运行，否则在您的环境中使用等效脚本）。如果您以前没有这样做过，那么会有一点学习曲线，但值得付出努力。

如果 API 可从外部访问，则 Pingdom 和 Site24x7 等服务会提供灵活的测试选项（收费），并且通常建议使用第 3 方至少对整个环境的基本正常运行时间进行测试与您的所有监控一起下降！

但是，听起来您只是想做一些黑盒导出器非常适合的基本黑盒样式监控。它需要一个主机来运行，然后你需要为它添加一个作业到 Prometheus 的抓取配置中。最佳实践是将每个主机用于单一目的，因此我会配置一个特定主机来运行 blackbox exporter（即使它只是集群中的另一个容器）。

【讨论】：