Kafka Streams 中的子拓扑是什么？

Question

我一直在探索 Kafka Streams 的来源，很难理解运营商会为一个或多个子拓扑（然后是node groups）做什么。有人能解释一下使用什么Topology.describe 显示子拓扑吗？

什么是子拓扑？

Answer 1

似乎 Apache Kafka 文档没有详细描述它们...... Confluent 文档中有一段关于它：https://docs.confluent.io/platform/current/streams/architecture.html#stream-partitions-and-tasks

子拓扑（也称为子图）：[...] 子拓扑是一组处理器，它们都作为父/子或通过拓扑中的状态存储传递连接。因此，不同的子拓扑通过主题交换数据并且不共享任何状态存储。 [...]

节点组是子拓扑的内部名称。

子拓扑是独立扩展的，即每个子拓扑可能具有不同数量的实例化（所谓的任务），具体取决于其所有输入主题的最大分区数。