将 RDD 发送到 Kafka 主题时 PYspark 出错

【问题标题】：PYspark erroring when sending RDD to Kafka Topic将 RDD 发送到 Kafka 主题时 PYspark 出错
【发布时间】：2016-06-23 01:31:12
【问题描述】：

大家好，我对这个有点困惑。

我的 spark 代码生成预期的输出，但是一旦我尝试将 RDD 发送回 kafka，它每次都会出错。我不太确定我的代码有什么问题。

 def sendkafka(messages):
    kafka = KafkaClient(kafkaip)
    producer = SimpleProducer(kafka, 'dev_test_upstream')
    for message in messages:
         producer.send_messages(message)

【问题讨论】：

标签： python apache-spark apache-kafka pyspark

【解决方案1】：

您确定您的 sendkafka() 方法按预期工作吗？看起来您提供了部分列表，因此不确定该部分是否有效。我有一个如何从 Python 向 Kafka 发送数据的示例，看看 Python client for publishing and consuming message from Apache Kafka，你可能想使用 producer.py 而不是 sendKafka() 方法

【讨论】：