【问题标题】:Kafka log.segment.bytes vs log.retention.hoursKafka log.segment.bytes vs log.retention.hours
【发布时间】:2021-04-06 23:21:31
【问题描述】:

我正在关注《Kafka:权威指南》第一版这本书,以了解代理何时删除日志段。

根据我理解的文本,一个片段在关闭之前不会有资格被删除。段只有在达到 log.segment.bytes 大小时才能关闭(考虑 log.segment.ms 未设置)。一旦一个段符合删除条件,log.retention.ms 策略将应用于最终决定何时删除该段。

但这似乎与我在生产集群(Kafka 版本 2.5)中看到的行为相矛盾。

一旦满足 log.retention.ms,日志段就会被删除,即使段大小小于 log.segment.bytes。

[2020-12-24 15:51:17,808] INFO [日志分区=Topic-2, dir=/Folder/Kafka_data/kafka] 找到带基的可删除段 偏移量 [165828] 由于保留时间 604800000 毫秒违规 (kafka.log.Log)

[2020-12-24 15:51:17,808] INFO [日志分区=Topic-2, dir=/Folder/Kafka_data/kafka] 调度段删除 List(LogSegment(baseOffset=165828, size=895454171, lastModifiedTime=1608220234000,最大时间=1608220234478)) (kafka.log.Log)

大小仍然小于 1GB,但该段已被删除。

这本书在新闻稿发布时提到 Kafka 版本是 0.9.0.1 。在后来的 Kafka 版本中,这个设置也发生了变化。 (我在 Kafka 文档中找不到任何具体提及此更改的内容)。下面是书中的sn-p。

【问题讨论】:

  • 这个主题的实际段大小是多少?你可以通过命令$KAFKA_HOME/bin/kafka-configs.sh --bootstrap-server :9092 --entity-type topics --entity-name my-topic --describe --all | grep segment.bytes找到
  • segment.bytes=1073741824sensitive=false synonyms={STATIC_BROKER_CONFIG:log.segment.bytes=1073741824, DEFAULT_CONFIG:log.segment.bytes=1073741824},所以都是默认的,即1GB

标签: apache-kafka retention kafka-topic kafka-partition


【解决方案1】:

您观察到的是预期的行为,它也是discussed here。简而言之,如果你有一个活跃的段还没有满,而retention.ms已经过去了,那么即使没有满也会被关闭,变成一个“旧日志段”。

【讨论】:

  • 感谢您的链接.. 一次无法真正理解,但经过多次阅读,我想我明白了(希望如此)。关于日志只有在关闭时才可删除的说法是正确的。有一个配置“segment.ms”,默认为 7 天。因此,我的日志正在滚动。已闲置“retention.ms”(在我的情况下也是 7 天)的已关闭日志有资格被删除。 [忽略大小,因为在我的情况下它小于 1GB] 希望这是有道理的,@fvaleri,请确认
  • 我想你完全明白了。
  • retention.ms 对删除/关闭的活动段没有影响。请看我的回答。
【解决方案2】:

希望这变得更清楚。

segment.ms => 段文件的最大年龄(从日期开始 创作)

retention.ms => 段中任何消息的最大年龄(即 关闭)超出此段有资格删除(如果删除 政策已制定)

所以如果段是“活动段”,那么它可以基于段.ms(或段.字节)而不是保留.ms 翻转。留存仅在已关闭(非活跃)的细分市场中发挥作用。

所以从书中引用的行为是正确的。但是,您认为该段处于活动状态,并且 INFO 日志指定该段已设置为删除。 这不会发生在活动段上(假设没有错误)。必须先关闭段(非活动),然后任何保留。* 属性才能生效。

见this。

【讨论】:

  • 这是一个有用的总结和线程@Khanna111
【解决方案3】:

设置:log.retention.ms 和 log.retention.bytes

Kafka 代理将保留消息(实际上是“日志段”)多长时间的最常见配置是按时间(以毫秒为单位),并使用 log.retention.ms 参数指定(默认为 1 周)。如果设置为 -1,则不应用时间限制。

另一种过期方式是基于保留消息的总字节数。该值是使用log.retention.bytes 参数设置的,并且适用于每个分区。它的默认值为 -1,允许无限保留。这意味着如果你有一个有 8 个分区的主题,并且 log.retention.bytes 设置为 1 GB,则为该主题保留的数据量最多为 8 GB。如果您同时指定了log.retention.bytes 和log.retention.ms,则当满足任一条件时,消息可能会被删除。

设置:log.segment.bytes 和 log.segment.ms

当消息生成到 Kafka 代理时,它们会附加到分区的当前日志段中。一旦日志段达到log.segment.bytes 参数指定的大小(默认为 1 GB),日志段将关闭并打开一个新的。只有一个日志段被关闭后,它才能被认为过期(log.retention.ms 或log.retention.bytes)。

控制日志段何时关闭的另一种方法是使用log.segment.ms 参数,该参数指定应关闭日志段的时间量。 Kafka 将在达到大小限制或达到时间限制时关闭日志段,以先到者为准。

较小的日志段大小意味着必须更频繁地关闭和分配文件,这会降低磁盘写入的整体效率。如果主题的生成率较低,则调整日志段的大小可能很重要。例如,如果一个主题每天只接收 100 兆字节的消息,并且 log.segment.bytes 设置为默认值,则需要 10 天才能填满一个段。由于在日志段关闭之前消息不会过期,如果log.retention.ms 设置为 1 周,它们实际上会保留最多 17 天的消息,直到关闭的段过期。这是因为一旦日志段与当前 10 天的消息一起关闭,该日志段必须根据时间策略在到期前保留 7 天。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2019-05-12
    • 2015-02-24
    • 2017-12-28
    • 2018-01-19
    • 1970-01-01
    • 2017-12-23
    • 2018-12-18
    • 2017-01-20
    相关资源
    最近更新 更多