__consumer_offsets ：概念理解答案

【问题标题】：__consumer_offsets : Conceptual Understanding__consumer_offsets ：概念理解
【发布时间】：2020-07-27 01:16:51
【问题描述】：

我找不到专门的官方文档来解释这个 __consumer_offsets 主题。请您帮助我理解以下问题。

./kafka-simple-consumer-shell.sh --topic __consumer_offsets \
--partition 49 \
--broker-list localhost:9092 \
--formatter "kafka.server.OffsetManager\$OffsetsMessageFormatter"

testGroup,testTopic-development,0]::OffsetAndMetadata[11,NO_METADATA,1478243992053]
[testGroup,testTopic-development,0]::OffsetAndMetadata[12,NO_METADATA,1478243992086]
[testGroup,testTopic-development,0]::OffsetAndMetadata[13,NO_METADATA,1478243992096]
[testGroup,testTopic-development,0]::OffsetAndMetadata[14,NO_METADATA,1478243992110]

在此上下文中，与本专题相关的元数据价值是什么？
如何频繁更新此值？
NO_METADATA - 如果没有元数据意味着这个值是无效的吗？

【问题讨论】：

标签： apache-kafka offset producer-consumer

【解决方案1】：

从kafka 0.9 开始，不再是zookeeper 存储有关每个groupid 在分区上的主题上消耗的偏移量的信息。

Kafka 现在将此信息存储在名为 __consumer_offsets 的主题上

Metadata 描述当前可用的代理、它们的主机和端口信息，并提供有关哪些代理托管哪些分区的信息。

NO_METADATA 是这种情况下的默认行为。

【讨论】：