【问题标题】:AWS S3 Folder wise metricsAWS S3 文件夹明智指标
【发布时间】:2020-09-07 10:28:06
【问题描述】:
我们将 grafana 的 cloudwatch 数据源用于 aws 指标。我们想根据大小区分 S3 存储桶中的文件夹并将它们显示为图表。我们知道 cloudwatch 不提供对象级别的指标,而是提供存储桶级别。为了监控存储桶中文件夹的大小,如果有任何可能的解决方案,请告诉我们。
对此的任何建议表示赞赏。
提前致谢。
【问题讨论】:
标签:
amazon-s3
monitoring
prometheus
grafana
amazon-cloudwatch
【解决方案1】:
Amazon CloudWatch 为 Amazon S3 存储桶提供每日存储指标,但正如您所提到的,这些指标适用于整个存储桶,而不是文件夹级别。
Amazon S3 Inventory 可以提供列出所有对象的每日 CSV 文件。您可以将此信息加载到数据库中或使用 Amazon Athena 来查询内容。
如果您需要比每日更高分辨率的存储指标,那么您需要自己跟踪此信息。这可以通过以下方式完成:
- 每当创建或删除对象时触发 AWS Lambda 函数的 Amazon S3 事件
- 接收此信息并更新数据库的 AWS Lambda 函数
- 然后您的应用程序可以从数据库中检索存储指标
【解决方案2】:
感谢约翰的回复,
但是,我使用s3_exporter 找到了解决方案。它根据 S3 存储桶内的文件夹和子文件夹的大小提供指标。