Kafka 从 web api 获取数据并写入弹性搜索

【问题标题】：Kafka to take data from web api and write to elastic searchKafka 从 web api 获取数据并写入弹性搜索
【发布时间】：2021-10-14 14:18:08
【问题描述】：

请注意：我是第一次使用 Kafka，不太了解它的术语

我想创建一个从多个服务器读取日志的数据管道。日志可通过 REST API 获得。

目前，要读取这些日志我正在使用 python 获取请求但是由于会有多个 Web 服务器，并且需要实时，因为可以从该 Web 读取一些新数据服务器，我正在考虑使用 Kafka。

问题 1：我可以使用 Kafka 读取之前使用 python get 请求获取的数据吗？
问题2：如果是，那么如何？任何架构参考。如果没有，那么我如何使用来自多个 API 的 python 获取请求来读取？
问题 3：如何将这些数据发送到 elasticsearch。
问题 4：我可以将这些数据直接从 Kafka 发送到 TypeDB 跳过 elasticsearch 吗？

谢谢

【问题讨论】：

标签： python elasticsearch apache-kafka vaticle-typedb

【解决方案1】：

使用 Kafka 读取之前我使用 python get request 获取的数据

我不知道这是什么意思。 Kafka 不使用 HTTP，因此不会执行/接收 GET 请求

使用 python 读取来自多个 API 的请求

使用循环？

for api in apis:
    resp = requests.get(api)

从多个服务器读取日志...日志可通过 REST API 获得

我认为这是一个问题。虽然您可以通过 API 公开日志，但将日志写入磁盘确实是有益的（假设您控制 API 服务器）。然后，您可以使用各种日志转发工具（例如 Elastic 的 Filebeat）将该数据转发到 Kafka 和/或 Elasticsearch。

将此数据发送到 elasticsearch

就像我说的，Filebeat 是一种选择。否则，请查看 Elasticsearch 和 TypeDB 的 Kafka Connect

【讨论】：