是否可以将 functionbeat 与 AWS elasticsearch 服务集成？答案

【问题标题】：Is it possible to integrate functionbeat with AWS elasticsearch service?是否可以将 functionbeat 与 AWS elasticsearch 服务集成？
【发布时间】：2021-01-01 02:00:38
【问题描述】：

我正在尝试将 AWS Elasticsearch Service 与 Functionbeat 集成，请遵循很多文档： https://blog.9fin.com/post/never-miss-a-beat-central-lambda-logging/ https://www.elastic.co/guide/en/beats/functionbeat/current/functionbeat-installation-configuration.html

我有很多问题，比如模板由于端口而无法上传到 ES，由于角色和策略，在 ES 中无法实现 functionbeat 所需的凭据，...

那么谁能告诉我是否有人以这种方式取得了成功？因为几天后，我读到 functionbeat 无法与 AWS ES 集成。

https://discuss.elastic.co/t/functionbeat-with-aws-elasticsearch-service/181712

【问题讨论】：

标签： amazon-web-services elasticsearch aws-elasticsearch

【解决方案1】：

免责声明：我在 Elastic 工作。

除了 Val 的出色答案之外，您还可以查看 https://www.elastic.co/cloud 和 https://aws.amazon.com/marketplace/pp/B01N6YCISK 吗？

Cloud by elastic 是访问所有功能的一种方式，所有功能均由我们管理。想想还有什么，比如安全、监控、报告、SQL、Canvas、地图 UI、警报和名为可观察性、安全性、企业搜索的内置解决方案以及接下来会发生什么：) ...

【讨论】：

感谢您的信息 :) 我正在寻找一种解决方案，以便我的流日志是 Lambda -> Cloudwatch Logs -> Kinesis -> functionbeat -> Elasticsearch -> Kibana。现在不可能使用 AWS Elasticsearch。那你觉得“Elastic Cloud 上的 Elasticsearch 服务”，我能完成吗？
我想是的。如果您访问 cloud.elastic.co（不是通过 AWS 市场），您可以在没有信用卡的情况下免费试用 14 天。试一试;)
嗨 dadoonet，感谢您的回复。我已经用 Lambda 函数替换了 functionbeat，它做同样的工作并且它有效。顺便说一句，感谢您的支持：D
@AshBlake 你从哪里得到 lambda 函数？我目前正在尝试通过 Cloudwatch -> lambda (functionbeat function) -> elasticservice service trial 让这个自己工作，并且在中间部分遇到问题.. 文档似乎没有告诉你你实际投入了什么lambda 函数，还是我读错了，您实际上需要从计算机中导出该函数？
嗨@JoshuaD'Alton，实际上，我使用这个流程：Lambda -> Cloudwatch Logs -> Kinesis -> Firehose -> Lambda -> S3 -> Logstash -> Elasticsearch -> Kibana。 AWS Lambda 有其模板来转换数据。我所做的是自定义它

【解决方案2】：

虽然所有其他 Beats 都可以使用 Elasticsearch 的 OSS 版本，但 Elasticsearch 的 Functionbeat is only available with a BASIC license 和 AWS 托管的 ES 服务不提供这种许可。

相反，您应该考虑迁移到 ES Cloud 或任何其他本地 ES 部署。

【讨论】：

感谢您的回答。我只需要确认一下，这样我就不会花时间在上面了
那么，关于这个主题还有什么需要的吗？
在dadoonet评论中，我会尝试使用官方服务，但不会花费太多时间。现在我使用旧流程：Lambda -> Cloudwatch Logs -> Kinesis -> Firehose -> Lambda -> S3 -> Logstash -> Elasticsearch -> Kibana 并将自定义 Lambda 以删除 S3 和 Logstash 以进行优化。希望它有效