【发布时间】:2021-08-05 07:30:20
【问题描述】:
我正在使用 Kafka 连接从不同的地方拉数据:mysql、mongodb 等。并发送到弹性搜索。
我想提取来源是 webhook 的数据。那么,我可以配置一些 Kafka URL 来向它发送 post http 请求吗?向我的 Kafka http post 请求发送什么好的做法?
【问题讨论】:
标签: apache-kafka webhooks apache-kafka-connect
我正在使用 Kafka 连接从不同的地方拉数据:mysql、mongodb 等。并发送到弹性搜索。
我想提取来源是 webhook 的数据。那么,我可以配置一些 Kafka URL 来向它发送 post http 请求吗?向我的 Kafka http post 请求发送什么好的做法?
【问题讨论】:
标签: apache-kafka webhooks apache-kafka-connect
Confluent 维护一个可用源代码的 Kafka REST 代理(请务必阅读项目的 Confluent 社区许可证)。这将允许您“发送 POST 请求”到将这些数据转发给 Kafka 的东西。除此之外,您还可以自己编写一个简单的 HTTP 端点来做同样的事情。
就个人而言,我使用 Nifi 的 ListenHTTP 处理程序来接受 webhook,然后解析、路由、过滤等到 ProduceKafka 请求中
否则“拉数据”不是网络钩子,Github 上有少数“Kafka Connect http”源项目。
【讨论】: