Kappa 架构和简单地使用流处理有什么区别？答案

【问题标题】：What is the difference between Kappa architecture and simply using the stream processing?Kappa 架构和简单地使用流处理有什么区别？
【发布时间】：2019-09-26 16:16:08
【问题描述】：

我想问你一个简单的问题。当我使用 Kappa 大数据架构时，它看起来像这样：

但对我来说，它看起来与我只使用一些流处理工具并将处理后的结果保存到某个数据库中完全一样。请问有什么不同呢？

【问题讨论】：

标签： apache-spark bigdata apache-flink apache-storm stream-processing

【解决方案1】：

Kappa 架构由两层组成：流处理和服务。流处理层运行流处理作业。通常情况下，服务层用于查询结果。

据我了解，您正在进行实时消息处理，并将结果存储在数据库中，以便进一步查询传入数据。

在 Lambda 架构中，服务层负责查询批量和速度（也称为流层）。但是在 kappa 中没有批处理层查询。只会提供来自流（速度）层的查询。

如果是这样，是的，你在 Kappa。

Kappa 架构和简单地使用流处理？

速度层 + 服务层 = Kappa 架构（在你的情况下）

【讨论】：

感谢您的回答。那么在某些情况下，我会做经典的流处理但不做 Kappa 架构？
可能是 kafka 字数 :-) 只是计算结果
但是每次我将处理后的数据存储在被查询的数据库中时，基本上都是Kappa，对吧？
是的...但是有一些要求，您将从一个 kafka 主题中读取并处理它并发布到另一个 kafka 主题。这是没有查询的简单流处理的经典示例。
基本上 kappa 支持查询来自流式应用程序的原始/接收数据，但 lambda 支持查询批处理层和流式层。