用于消费的python kafka不起作用答案

【问题标题】：python kafka for consuming does not work用于消费的python kafka不起作用
【发布时间】：2015-07-04 03:51:38
【问题描述】：

我可以写信给卡夫卡。但是，消费不起作用

kafka = KafkaClient(kafka_host_list)
consumer = SimpleConsumer(kafka,'topic-test-development','topic-test-development')

No handlers could be found for logger "kafka.conn"
Traceback (most recent call last):
  File "/home/ubuntu/workspace/feed-tests/tests/kafka_consumer.py", line 44, in <module>
    consumer = SimpleConsumer(kafka,'topic-test-development','topic-test-development')
  File "/usr/local/lib/python2.7/dist-packages/kafka/consumer/simple.py", line 126, in __init__
    auto_commit_every_t=auto_commit_every_t)
  File "/usr/local/lib/python2.7/dist-packages/kafka/consumer/base.py", line 75, in __init__
    self.fetch_last_known_offsets(partitions)
  File "/usr/local/lib/python2.7/dist-packages/kafka/consumer/base.py", line 101, in fetch_last_known_offsets
    check_error(resp)
  File "/usr/local/lib/python2.7/dist-packages/kafka/common.py", line 230, in check_error
    raise response
kafka.common.FailedPayloadsError

【问题讨论】：

好像没有broker....
python kafka客户端的版本是多少？文档上有介绍： group: 此消费者的名称，用于偏移存储，并且必须是唯一的如果您连接到不支持偏移提交/获取的服务器（0.8.1.1 之前的任何），那么您必须将此设置为无（FROM:github.com/mumrah/kafka-python/blob/…）
我对 Kafka 和 python-kafka 包装器的体验是代理连接不稳定，这意味着当生产者尝试发送消息或消费者尝试将消息标记为已使用时，可以重置连接。最好的办法是实现重试逻辑，因为我认为这个问题不会很快得到解决。我仍然看到它们在这里和那里弹出。
当我的客户与代理在不同的机器上时，我也遇到了同样的错误......我深入研究了 python-kafka 代码并发现，代理将其名称发布为localhost客户端在将代理主机名元数据作为 localhost 获取时，它会尝试与自身建立连接...我通过将 advertised.host.name 设置为 server.properties 中的外部主机名来修复它

标签： python apache-kafka kafka-python

【解决方案1】：

注意No handlers could be found for logger "kafka.conn"

为记录器添加代码：

logging.basicConfig(
    format='%(asctime)s.%(msecs)s:%(name)s:%(thread)d:%(levelname)s:%(process)d:%(message)s',
    level=logging.DEBUG
)

运行并输出更多信息：

2015-07-13 15:26:32,158.158.830881119:kafka.conn:140247909795584:DEBUG:17035:Reinitializing socket connection for host01:9092 2015-07-13 15:26:32,221.221.35591507:kafka.conn:140247909795584:ERROR:17035:无法在 host01:9092 连接到 kafka 代理

【讨论】：