Kinesis 代理未通过 firehose 发送 .log 文件答案

【问题标题】：Kinesis agent not sending .log files through firehoseKinesis 代理未通过 firehose 发送 .log 文件
【发布时间】：2019-11-07 23:40:18
【问题描述】：

我已按照AWS docs 中的说明设置了 Kinesis firehose 并安装了 Kinesis 代理。我可以通过 S3 存储桶获取测试数据，但 Kinesis 代理不会发送任何 .log 文件。我怀疑将代理连接到消防软管时出现问题。

我的/etc/aws-kinesis/agent.json 文件如下。我也尝试过使用"firehose.endpoint" 而不使用https://，但我仍然无法通过任何数据。

我已验证 aws-kinesis-agent 服务正在运行。

我没有使用 kinesis.endpoint/kinesisStream，但我已将流留在了 agent.json 文件中。这会是个问题吗？

我错过了什么？

{
  "cloudwatch.emitMetrics": true,
  "kinesis.endpoint": "",
  "firehose.endpoint": "https://firehose.us-west-2.amazonaws.com",

  "flows": [
    {
      "filePattern": "/home/ec2-user/src/Fake-Apache-Log-Generator/*.log*",
      "kinesisStream": "yourkinesisstream",
      "partitionKeyOption": "RANDOM"
    },
    {
      "filePattern": "/home/ec2-user/src/Fake-Apache-Log-Generator/*.log*",
      "deliveryStream": "apachelogfilesdeliverystream"
    }
  ]
}

编辑：

/var/log/aws-kinesis-agent/aws-kinesis-agent.log 的日志文件显示正在解析 0 条记录。日志消息将我引导至this post，并且我进行了推荐的修复。此外，我必须从 /etc/aws-kinesis/agent.json 文件中删除 kinesis 流，以避免出现在日志文件中的异常。

底线是 aws-kinesis-agent 无法从 /home/ec2-user/ 或其子目录读取文件，您必须修复 agent.json 文件。

【问题讨论】：

您可以在/var/log/aws-kinesis查看代理的日志文件以找出错误。

标签： amazon-web-services amazon-kinesis-firehose amazon-kinesis-agent

【解决方案1】：

由于某些权限问题，Kinesis 代理无法从位于 /home/ec2-user/<any-file> 的文件中读取日志。尝试将您的日志位置更改为/tmp/logs/<log-file>。

【讨论】：