通过kafka加入多个日志？

Question

我有两种类型的日志...

1. Http“GET”日志。存储 UUID、原始 HTTP 请求 + 总处理时间。 （存储在“日志”主题中，未键入）
2. 来自应用程序的事件/命令日志。存储UUID+1的请求产生的事件（存储在“events”主题中，有key）

加入这些人的最佳方式是什么？我知道有各种平台可以做到这一点......

1. 我想首先我需要阅读“日志”主题并对其进行解析，然后使用正确的键将其存储回“已解析”主题中。
2. 将“events”主题与“parsed”主题结合起来。

此外，事件/命令（#2 日志）可能在几天后出现（但大多在一分钟或 2 分钟内立即出现）。

Answer 1

加入的目的是什么 - 是为了推动进一步的处理，还是为了分析？

由于您已经在 Apache Kafka 中拥有数据，我建议您使用 Kafka Streams API 和/或 KSQL。 KSQL 在 Kafka Streams 之上运行。您可以使用其中任何一个加入主题。

您也可以使用 KSQL 执行诸如重新键入主题的操作。