Kamon、Statsd、Grafana 磁盘空间

Question

我最近设置了 Kamon、Statsd、Graphite、Grafana 来监控我的 akka 应用程序。我使用大多数教程建议的 Statsd、Graphite 和 Grafana 的 Docker 容器，直到最近我注意到 Grafana 仪表板开始滞后并且变得无响应时，它都运行良好。 它现在变得没有响应，原因是托管 Docker 容器的机器空间不足......

85790556    /var/lib/docker
85786096    /var/lib/docker/aufs
42922104    /var/lib/docker/aufs/diff
42863828    /var/lib/docker/aufs/mnt
42863668    /var/lib/docker/aufs/mnt/1daed028a6ca7041dc95257b27328324936f548d2cfc589d6e3c94ac3d8cc63b
41878192    /var/lib/docker/aufs/mnt/1daed028a6ca7041dc95257b27328324936f548d2cfc589d6e3c94ac3d8cc63b/opt
41793244    /var/lib/docker/aufs/diff/1daed028a6ca7041dc95257b27328324936f548d2cfc589d6e3c94ac3d8cc63b
41754416    /var/lib/docker/aufs/mnt/1daed028a6ca7041dc95257b27328324936f548d2cfc589d6e3c94ac3d8cc63b/opt/graphite

这很可能来自监控统计数据的建立。 所以我有两个问题...

1. 如何安全地清理此容器中的空间以使其再次运行。
2. 我可以配置 statsd 或石墨来定期清除数据吗？

谢谢！

Answer 1

更好的解决方案是配置 carbon 来管理数据的保留。您可以定义多个间隔来保存您的数据以及以何种分辨率保存数据。

例如storage-schemas.conf:

retentions = 15s:7d,1m:21d,15m:5y

这种保留意味着指标将保留 7 天，分辨率为 15 秒。然后，carbon 将以 1 分钟的精度汇总旧数据并保留 21 天。然后将数据保存 5 年，分辨率为 15 分钟。

根据您的需要和存储容量，您可以配置多个保留策略。

在storage-aggregation.conf 中，您可以定义在更改分辨率时碳应如何聚合您的指标：采用min、max、avg、sum ...

更多信息在carbon documentation

Answer 2

在这里找到解决方案...

https://github.com/kamon-io/docker-grafana-graphite/issues/16

我需要附加到 Docker 容器并运行...

find /opt/graphite/storage/whisper/stats -type f -mtime +3 -delete && find /opt/graphite/storage/whisper/stats -type d -empty -delete