kafka 连接器 HTTP/API 源答案

【问题标题】：kafka connector HTTP/API sourcekafka 连接器 HTTP/API 源
【发布时间】：2018-03-16 02:06:42
【问题描述】：

我实际上知道如何从任何数据源捕获数据，例如特定的 API（例如 HTTP GET 请求）并将它们摄取到特定的 kafka 连接器中。

{
    "name": "localfileSource", 
    "config": {
        "connector.class": "FileStreamSourceConnector",
        "tasks.max": "1",
        "file": "test.txt",
        "topic": "connectSource"
    }
}

我需要与此 (FileStreamSourceConnector) 类似的东西，可以与 API 源一起使用。

【问题讨论】：

标签： apache-kafka apache-kafka-connect

【解决方案1】：

提问者可能有点晚了，但我有类似的需求，我决定实现自己的连接器。

连接器的特殊性在于它实现了某种Change Data Capture

如果它可以帮助其他人，你可以在这里找到它：castorm/kafka-connect-http

【讨论】：

【解决方案2】：

您始终可以构建自己的连接器，以一组间隔从 http 源流式传输相对简单。

我知道您可能已经解决了您的问题，可以找到一个简单的实现： https://github.com/pegerto/kafka-connect-http

问候。

【讨论】：