三、Kafka Offset 管理

主要包括以下：（大方面）
1、使用外部存储保存offset
2、不保存offset

1、使用外部存储保存offset

包括Checkpoints、ZooKeeper、HBase 、Kafka、HDFS等

模型展示：

详细介绍：
使用外部存储保存offset博文链接：https://blog.csdn.net/murphyZ/article/details/88241458

2、Kafka Offset 管理–不保存offset

根据业务需要是否管理offset

对于一些streaming应用程序， 如实时活动监控， 只需要当前最新的数据， 这种情况不需要管理offset 。

在这种场景下， 如果使用老的kafka的api， 可以将参数auto.offset.reset设置为largest 或者smallest 。

如果使用新的kafka的api, 可以将参数 auto.offset.reset设置为earliest 或者latest 。