【问题标题】:relationship zookeeper and kafka动物园管理员和卡夫卡的关系
【发布时间】:2017-04-27 15:37:51
【问题描述】:

我正在学习 kafka CLI。还有一个问题。 为什么我们在创建主题和消费消息时必须使用 --zookeeper 选项,但是在生成消息时,我们只使用 --broker-list ,它只是指 Kafka 本身, 1.创建主题

 ./kafka-topics.sh --create --zookeeper `docker-machine ip bigdata` --replication-factor 1  --partitions 1 --topic bigdata

2.产生消息

 ./kafka-console-producer.sh --broker-list `docker-machine ip bigdata`:9092 --topic bigdata

3.消费消息

 ./kafka-console-consumer.sh --zookeeper `docker-machine ip bigdata`:2181 --topic bigdata

我知道 kafka 必须使用 zookeeper 进行协调。但我仍然不太清楚 CLI 命令

【问题讨论】:

标签: apache-kafka apache-zookeeper


【解决方案1】:

你要区分话题管理和话题消费。 ZK 不仅用于代理协调,还用于主题管理。

对于主题管理,ZK 用于存储主题元数据,并且代理(目前,Kafka 0.10.1)不提供用于主题管理的 API。因此,管理 CLI 工具确实直接与 ZK(而不是代理)对话。当新的“管理客户端”完全实施时,这将在未来发生变化(c.f. https://cwiki.apache.org/confluence/display/KAFKA/KIP-4+-+Command+line+and+centralized+administrative+operations

对于主题消费,ZK 不是必需的,消费者和生产者客户端只与代理对话。

【讨论】:

  • 谢谢,所以基本上主题数据本身仍然存储在 kakfa 节点中,对吧?
  • 是的。 ZK 只存储元数据。您的主题有效负载存储在 Kafka 代理中。
猜你喜欢
  • 2014-12-12
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2013-09-14
  • 2015-09-27
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多