使用 EFK 堆栈从 kibana 上的 S3 获取 AWS 日志

【问题标题】：Getting AWS logs from S3 on kibana using EFK stack使用 EFK 堆栈从 kibana 上的 S3 获取 AWS 日志
【发布时间】：2020-06-16 18:53:35
【问题描述】：

我有一个在 EKS 上运行的 EFK 堆栈。如何从 S3 存储桶收集日志并通过 Kibana 查看它们？

【问题讨论】：

标签： amazon-web-services amazon-s3 kibana efk

【解决方案1】：

您可以使用此插件为 s3 https://github.com/tomohisaota/fluent-plugin-forward-aws 添加新源

首先，您需要添加源配置

<source>
  type forward_aws
  aws_access_key_id     XXXXXXXXXXXXXXXXXXXX
  aws_secret_access_key XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

  aws_s3_endpoint       s3-ap-northeast-1.amazonaws.com
  aws_s3_bucketname     XXXXXXXXXXXXXXXXXXXX

  aws_sqs_endpoint      sqs.ap-northeast-1.amazonaws.com
  aws_sqs_queue_url     https://sqs.ap-northeast-1.amazonaws.com/XXXXXXXXXXXXXXXXXXXX
</source>

然后你需要用match 解析它们并将它们转发到elasticsearch

【讨论】：