使用 UDP 将传感器数据发送到 Apache Kafka

Question

在我的系统中，有许多传感器生成数据。我希望他们将生成的数据直接发送到 Kafka，而不会干扰网络编程。

据我所知，Kafka（Confluent 版本）在这种情况下支持 HTTP，但我的传感器不使用 Http 协议发送数据，它们有自己的协议。

现在我的问题是：

1. Kafka 接收（了解）在哪个网络布局数据抽象？ 我的意思是它可以接收二进制数据（物理网络布局数据） 或更高级的数据抽象布局，如数据链路布局、网络布局……
2. 有没有办法直接向Kafka发送数据？
3. 如果没有，是否可以自定义 Kafka 源代码以适应 情况？

一般情况下，是否可以使用 UDP 协议从传感器向 Kafka 发送数据？

Answer 1

您可以实现使用您的格式的KafkaProducer，或者将您的格式转换为合适的文本格式并将其通过管道传输到 Kafka 的通用 kafka-console-producer.sh。

Answer 2

您可以在节点中使用到 Kafka 的桥接，将这些消息转换为 Kafka 可以理解的内容（类似于信封）。

您可以在 Github 中找到此类软件的实现

https://github.com/agaoglu/udp-kafka-bridge

这个用于向 Kafka 主题发送 syslog 消息。