对kafka中的每个传入数据记录执行计算答案

【问题标题】：Execute a calculation on each incoming data record in kafka对kafka中的每个传入数据记录执行计算
【发布时间】：2020-10-07 08:30:27
【问题描述】：

我正在消费一个 kafka 主题，我想在有新数据记录传入时执行计算。应该对传入记录的数据和前两个记录的数据进行计算（如此处保存为链接的图片所示）。是否可以以某种方式缓冲最后两条记录，以便我可以使用这些记录和新记录进行操作？

Example

【问题讨论】：

"是否有可能以某种方式缓冲最后两条记录，以便我可以使用这些记录和新记录进行操作？" -> 是的，这是可能的。查看窗口和有状态的 KafkaStreams 应用程序。
当然，在 Stackoverflow 上最好提出一个具体的编码问题。尽量避免可以用是或否回答的问题。随意尝试一下，如果您被阻止或遇到异常，请返回此处并描述您所做的事情并提供详细信息（错误日志）为什么它不起作用。

标签： apache-kafka kafka-consumer-api apache-kafka-streams

【解决方案1】：

正如迈克所说，这是一个非常广泛的问题。从您写的内容来看，这看起来像是您可以使用 Kafka Streams 做得很好的事情。你可能想看看this intro

【讨论】：

【解决方案2】：

您也可以通过使用 KSql 来实现这一点。 KSQL 是 Apache Kafka 的 SQL 流引擎。它提供了一个易于使用的交互式 SQL 接口，用于在 Kafka 上进行流处理，而无需使用 Java 或 Python 等编程语言编写代码。请找教程https://docs.confluent.io/current/ksqldb/tutorials/index.html

【讨论】：