【问题标题】:Webhook data to Kafka ConnectWebhook 数据到 Kafka Connect
【发布时间】:2021-08-05 07:30:20
【问题描述】:

我正在使用 Kafka 连接从不同的地方拉数据:mysql、mongodb 等。并发送到弹性搜索。

我想提取来源是 webhook 的数据。那么,我可以配置一些 Kafka URL 来向它发送 post http 请求吗?向我的 Kafka http post 请求发送什么好的做法?

【问题讨论】:

    标签: apache-kafka webhooks apache-kafka-connect


    【解决方案1】:

    Confluent 维护一个可用源代码的 Kafka REST 代理(请务必阅读项目的 Confluent 社区许可证)。这将允许您“发送 POST 请求”到将这些数据转发给 Kafka 的东西。除此之外,您还可以自己编写一个简单的 HTTP 端点来做同样的事情。

    就个人而言,我使用 Nifi 的 ListenHTTP 处理程序来接受 webhook,然后解析、路由、过滤等到 ProduceKafka 请求中

    否则“拉数据”不是网络钩子,Github 上有少数“Kafka Connect http”源项目。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2017-05-20
      • 2018-09-14
      • 1970-01-01
      • 1970-01-01
      • 2020-06-19
      • 2017-01-08
      • 2021-04-27
      • 2023-01-25
      相关资源
      最近更新 更多