Kafka：使用来自 websocket 的数据并推送到主题的连接器

Question

我们有一个数据流管道，其中日志是从 websocket 端点发送的，在进行简单的数据增强（密码屏蔽等）后需要将其推送到 Splunk。

我正在检查是否可以使用 Kafka，因为数量非常高。所以，可能的流程是：

Websocket 端点 ---------some-wss-connector--------> Kafka 主题 ------ --splunk-connector----------> Splunk

我在https://github.com/splunk/kafka-connect-splunk 找到了用于推送到 Splunk 的连接器，它运行良好。

需要其他连接器（上面加粗）的帮助才能从 Kafka 中的 websocket 端点读取并推送到主题。请问有人做过类似的事情吗？请指教。

注意：我查看了WebSocket to Kafka Topic Scala API，但那是使用 Akka（使用 Scala），但我担心 Akka/Scala 目前不属于我们的企业。

提前致谢。 维奈

Answer 1

好吧，我猜你需要某种适配器应用程序（无论是否采用 kafka connect 的形式）。 我的想法是编写一个实现 websocket 客户端的小型 spring boot 应用程序，请参阅此链接以了解如何（向下滚动）： https://www.sitepoint.com/implementing-spring-websocket-server-and-client/

然后，您可以使用 spring kafka 将通过 websocket 收到的消息推送到 apache kafka，根据我的经验，这很好：https://spring.io/projects/spring-kafka

对于从 SpringBoot 应用程序到 Kafka 的序列化，您可以使用 JSON，但是我推荐使用 AVRO 和模式注册表的完整功能：https://docs.confluent.io/current/schema-registry/index.html

这个想法的主要缺点是您需要实现、维护、部署和扩展另一个应用程序。

希望有帮助！