【发布时间】:2020-10-16 17:58:34
【问题描述】:
我正在尝试将 Kafka 流从我的 Raspberry Pi 3 设置到 Kafka 主题。 Raspberry Pi 和 Kafka Broker 不在同一个网络中。
Raspberry Pi 上有一些传感器,它每秒将日期保存在 JSON 格式的 .log 文件中。
将 .log 文件放入我的 Kafka 主题的最佳方法是什么?
【问题讨论】:
标签: hadoop apache-kafka raspberry-pi
我正在尝试将 Kafka 流从我的 Raspberry Pi 3 设置到 Kafka 主题。 Raspberry Pi 和 Kafka Broker 不在同一个网络中。
Raspberry Pi 上有一些传感器,它每秒将日期保存在 JSON 格式的 .log 文件中。
将 .log 文件放入我的 Kafka 主题的最佳方法是什么?
【问题讨论】:
标签: hadoop apache-kafka raspberry-pi
几个选项:
无论将传感器数据写入.log 文件,修改它以使用 Kafka Producer API 将数据直接发送到 Kafka 主题。
同上,但使用REST Proxy,以便可以使用 REST 发送传感器数据。
运行 Kafka Connect 以使用 https://github.com/jcustenborder/kafka-connect-spooldir 提取 JSON 文件
(1)和(2)的好处是更紧密的集成。写入文件然后从文件中读取会带来复杂性。
【讨论】: