kafka - python程序可以连接到hadoop集群外的Kafka吗？答案

【问题标题】：kafka - can python program connect to Kafka outside hadoop cluster?kafka - python程序可以连接到hadoop集群外的Kafka吗？
【发布时间】：2018-09-09 03:21:50
【问题描述】：

我想编写一个 python 程序，它读取文件并将数据作为生产者写入 Kafka。 Kafka 在 Hadoop 集群中设置，Python 将在 Hadoop 集群之外运行。

是否可以从外部连接？我需要为 python 安装 Kafka 库吗？我需要如何安装？

【问题讨论】：

标签： python apache-kafka

【解决方案1】：

了解更多关于 Kafka 的最简单方法是使用 http://landoop.com/docs/lenses/developers

您将需要运行 1 个 docker - 在本地启动所有内容，然后使用适当的 Kafka 库开发 Python 应用程序，这些库通过 Kafka API 连接到 Kafka 并向其生成消息

一旦您构建了您的应用，您就可以打包它并针对您的 Hadoop 的 Kafka 代理运行它

【讨论】：

感谢您的回复。我正在努力在 kafka 和 pyspark 中发展我的职业生涯。我确实有一个 VM 并且刚刚安装了 kafka 库。现在，我将编写一个读取文件并将其发布到 kafka 的小型 python 程序。再次感谢您。
请披露任何affiliations 并且不要使用该网站作为通过发布来宣传您的网站的方式。见How do I write a good answer?。

【解决方案2】：

是否可以从外部连接？

取决于防火墙规则，但是是的，有可能

我需要为 python 安装 Kafka 库吗？我需要如何安装？

是的。 Kafka 有几个 Python 库。 pip install kafka-python, for example.

【讨论】：