使用 Kafka Producer 发送日志文件

Question

我想创建一个 python 脚本来从虚拟机发送文件并将它们发送到 kafka 代理。 为了简单起见：

• 我在这个 ip 地址中有日志文件：VM1 10.10.10.1
• 我想创建一个 kafka 生产者（使用 python）从 VM1 发送文件
• Kafka 安装在另一个虚拟机上：VM2 10.10.10.2

限制

1. 我无法在 VM1 上安装任何工具
2. 我只能使用用户/密码来访问 VM1

我认为我需要创建一个连接器？我们能否重用类似 connect-file-sink.properties 之类的东西，并指定文件存储在外部机器中的文件夹+ip：VM1

还有其他工具可以做到这一点吗？

Answer 1

有很多现有的工具可以做到这一点，例如Filebeat，支持output to Kafka、Fluentd等。

这些都可以通过简单的配置文件轻松设置。最棘手的可能是你的网络——只要确保你有configured Kafka's listeners correctly。