处理 AWS ELB 访问日志（从 S3 存储桶到 InfluxDB）答案

【问题标题】：Processing AWS ELB access logs (from S3 bucket to InfluxDB)处理 AWS ELB 访问日志（从 S3 存储桶到 InfluxDB）
【发布时间】：2018-11-02 08:20:43
【问题描述】：

我们想处理 AWS ELB 访问日志并将它们写入 InfluxDB 用于应用程序指标和监控（例如 Grafana）。

我们配置 ELB 将访问日志存储到 S3 存储桶中。

处理这些日志并将它们写入 InfluxDB 的最佳方法是什么？

到目前为止，我们尝试的是使用 s3fs 将 S3 存储桶挂载到文件系统，然后使用 Telegraf 代理进行处理。但是这种方法有一些问题：s3fs 挂载看起来像一个 hack，桶中的所有文件都被压缩，需要在 telegraf 处理它们之前解压缩，这使得这个任务过于复杂。

有没有更好的办法？

谢谢，亚历山大

【问题讨论】：

【解决方案1】：

您能否在生成日志的 AWS 实例上安装 telegraf 代理，并将它们直接实时发送到 InfluxDB？

【讨论】：