将本地日志转发到 Kinesis Firehose答案

【问题标题】：Forward onpremise logs to Kinesis Firehose将本地日志转发到 Kinesis Firehose
【发布时间】：2019-08-15 11:15:31
【问题描述】：

对于我的应用程序日志记录，我计划将日志从我的本地服务器转发到 AWS Kinesis firehose。我正在尝试使用 Logstash 和 log-stash-output-plugin https://github.com/samcday/logstash-output-kinesis

但我认为这个插件需要将日志数据转发到 Kinesis Data Stream，然后我们可以创建一个到 Kinesis Firehose 的管道。如果我们指向 Kinesis Firehose Delivery 流，那么我们会收到错误消息 - ResourceNotFoundException 消息：未找到帐户 XXXX 下的流测试

但是，如果我们将日志存储指向 Kinesis 数据流，然后将其通过管道传输到 Kinesis Firehose，那么它就可以正常工作了。

是否有人使用此 log-stashoutput 插件将日志数据直接转发到 Kinesis Firehose。

【问题讨论】：

标签： amazon-kinesis amazon-kinesis-firehose

【解决方案1】：

logstash-output-kinesis 使用 Kinesis Producer 库 (KPL) 将数据写入 Kinesis 流。截至目前，KPL 不支持直接写入 Firehose。 - https://github.com/awslabs/amazon-kinesis-producer/issues/29

Firehose 和 Kinesis 也有不同的服务端点，在 logstash-output-kinesis 项目中，似乎只有设置 kinesis 端点的选项。因此，即使您在配置中指定了一个有效的现有 Firehose 名称，由于端点集是 AWS kinesis 的端点集，您应该会看到“ResourceNotFoundException”。 - https://github.com/samcday/logstash-output-kinesis/blob/acffae5beddcf00aa599c1fa75428f57bb7e7e30/lib/logstash/outputs/kinesis.rb#L55

【讨论】：