Kafka Streams 的 StreamsConfig.COMMIT_INTERVAL_MS_CONFIG 的合理值是多少

Question

我正在寻找 Kafka Streams 的一些融合示例，配置值“StreamsConfig.COMMIT_INTERVAL_MS_CONFIG”的不同值让我有点困惑。

例如，在微服务示例中，

config.put(StreamsConfig.COMMIT_INTERVAL_MS_CONFIG, 1); //commit as fast as possible

https://github.com/confluentinc/kafka-streams-examples/blob/5.1.0-post/src/main/java/io/confluent/examples/streams/microservices/util/MicroserviceUtils.java

另一个，

// Records should be flushed every 10 seconds. This is less than the 
default
// in order to keep this example interactive.
streamsConfiguration.put(StreamsConfig.COMMIT_INTERVAL_MS_CONFIG, 10 * 
1000);

https://github.com/confluentinc/kafka-streams-examples/blob/5.1.0-post/src/main/java/io/confluent/examples/streams/WordCountLambdaExample.java

另一个，

// Set the commit interval to 500ms so that any changes are flushed 
frequently and the top five
// charts are updated with low latency.
streamsConfiguration.put(StreamsConfig.COMMIT_INTERVAL_MS_CONFIG, 
 500);

https://github.com/confluentinc/kafka-streams-examples/blob/5.1.0-post/src/main/java/io/confluent/examples/streams/interactivequeries/kafkamusic/KafkaMusicExample.java

在示例中的时间间隔从 1ms 变为 10000ms，我真正感兴趣的是系统中的 1ms 一直很重负载，去 1ms Commit Interval 会不会很危险？

谢谢解答..

Answer 1

嗯，这取决于您希望提交记录的频率。它实际上是指内存中的Record Caching：

https://kafka.apache.org/21/documentation/streams/developer-guide/memory-mgmt.html#record-caches-in-the-dsl

如果您想将每条记录视为输出，您可以将其设置为最小的数字。在某些情况下，您可能希望获取每个事件的输出，具有最低数字是有意义的。但在某些情况下，可以合并事件并产生更少的输出，您可以将其设置为更高的数字。

还要注意，Record 缓存受这两个配置的影响：

commit.interval.ms 和 cache.max.byte.buffering

缓存的语义是，只要commit.interval.ms 或cache.max.bytes.buffering（缓存压力）中最早的一个命中，数据就会刷新到状态存储并转发到下一个下游处理器节点。