解释 Kafka 中的复制偏移检查点和恢复点偏移答案

【问题标题】：Explain replication-offset-checkpoint AND recovery-point-offset in Kafka解释 Kafka 中的复制偏移检查点和恢复点偏移
【发布时间】：2016-05-26 05:29:27
【问题描述】：

能否解释一下这些文件的含义，存在于 kafka 代理日志中。

root@a2md23297l:/tmp/kafka-logs-1# cat recovery-point-offset-checkpoint
0
5
我的主题 0 0
kafkatopic_R2P1_1 0 0
我的主题 1 0
kafkatopic_R2P1 0 0
测试 0 0
root@a2md23297l:/tmp/kafka-logs-1# cat replication-offset-checkpoint
0
5
我的主题 0 0
kafkatopic_R2P1_1 0 2
我的主题 1 0
kafkatopic_R2P1 0 2
测试 0 57

仅供参考，my-topic,kafkatopic_R2P1_1,my-topic,kafkatopic_R2P1,test 是创建的主题。提前致谢。

【问题讨论】：

标签： apache-kafka kafka-consumer-api kafka-producer-api

【解决方案1】：

AFAIK：recovery-point-offset-checkpoint 是内部代理日志，Kafka 在其中跟踪哪些消息（从到偏移）已成功检查点到磁盘。

replication-offset-checkpoint 是内部代理日志，Kafka 在其中跟踪哪些消息（从到偏移）成功复制到其他代理。

更多详情，您可以通过a deeper lookkafka/core/src/main/scala/kafka/server/LogOffsetMetadata.scala 和ReplicaManager.scala。代码注释得很好。

【讨论】：

【解决方案2】：

Marko 是正确的。

开头的两个数字（0- 不确定这是什么）（5- 该特定磁盘上存在的分区数）

主题名称旁边的数字（0-主题的分区号）下一个数字是刷新到磁盘的偏移量（recovery-point-offset-checkpoint），在 replication-offset-checkpoint 中，副本成功复制数据的最后一个偏移量

【讨论】：