如何记录 Kafka Streams？答案

【问题标题】：How to document Kafka Streams?如何记录 Kafka Streams？
【发布时间】：2020-07-09 13:44:55
【问题描述】：

如何绘制我的 topci/stream 关系图？有标准吗？

我可以使用流的拓扑并使用像这样的查看器：https://zz85.github.io/kafka-streams-viz/。但我觉得这个级别太低了。

我想要一个更抽象的图表来表示主题和它们之间的“业务”操作。不需要对 Kafka 有一定了解就可以理解的东西。

【问题讨论】：

标签： apache-kafka diagram

【解决方案1】：

Kafka 流可视化工具仅通过从拓扑描述 (Topology#describe()) 创建图像来工作。

我想要一个更抽象的图表来代表主题和他们之间的“业务”操作。不需要的东西了解Kafka的适当知识。

我希望您在图表中避免使用KSTREAM-SOURCE、KSTREAM-TRANSFORM 等。

Topology
Sub-topologies:
Sub-topology: 0
    Source:  KSTREAM-SOURCE-0000000000 (topics: [conversation-meta])
    --> KSTREAM-TRANSFORM-0000000001
    Processor: KSTREAM-TRANSFORM-0000000001 (stores: [conversation-meta-state])
    --> KSTREAM-KEY-SELECT-0000000002
    <-- KSTREAM-SOURCE-0000000000
    Processor: KSTREAM-KEY-SELECT-0000000002 (stores: [])
    --> KSTREAM-FILTER-0000000005
    <-- KSTREAM-TRANSFORM-0000000001
    ...
    omitted for the sake of brevity

您可以简单地 Replace All 和 KSTREAM-xxx 使用适当的名称。例如，

Topology
Sub-topologies:
Sub-topology: 0
    Source:  Conversations (topics: [conversation-meta])
    --> TransformConversation
    Processor: TransformConversation (stores: [conversation-meta-state])
    --> KSTREAM-KEY-SELECT-0000000002
    <-- KSTREAM-SOURCE-0000000000
    Processor: KSTREAM-KEY-SELECT-0000000002 (stores: [])
    --> KSTREAM-FILTER-0000000005
    <-- TransformConversation

这里的KSTREAM-TRANSFORM-0000000001已更改为TransformConversation，KSTREAM-SOURCE-0000000000已更改为Conversations

如果您在 Kafka 流应用程序中使用 处理器 API 并构建拓扑并执行 describe() 拓扑将带有适当的处理器名称，因为在处理器 API 中您可以为处理器。

【讨论】：