流处理替代方案答案

【问题标题】：Stream processing alternatives流处理替代方案
【发布时间】：2023-01-19 02:58:55
【问题描述】：

我们有几千个物联网设备每秒向我们发送它们的温度。输入源可以是MQTT或者JSON（或队列，如果需要的话）。

我们的目标是几乎连续处理这些设备中的每一个的数据并计算过去一小时的平均值等。最后，我们希望它在超过特定水平时发送通知。

有哪些灵活且可扩展的优秀替代流处理工具？卡夫卡是要走的路，还是有其他选择？

【问题讨论】：

标签： stream time-series stream-processing event-stream-processing

【解决方案1】：

您看过 IBM 的 IoT 基础吗？
https://www.ibm.com/cloud/internet-of-things

IBM 还提供基于 kafka 的事件流。 https://www.ibm.com/cloud/event-streams

【讨论】：

【解决方案2】：

您可以使用一个名为 Quix 的新平台。 https://quix.ai/

他们有一个 MQTT 连接器——我相信是 hiveMQ。他们还有用于 slack 或 twillio 的连接器来发送您的通知。你只需要为你想要的任何计算编写你的逻辑。尽管它们确实为滚动平均值等事物提供了一些预构建的转换。

我相信它在 Kafka 上运行，但你不必知道设置所有这些的来龙去脉。

我在那里建立了类似的东西，而且效果很好。

【讨论】：

【解决方案3】：

您完全正确，Kafka 是此用例的绝佳解决方案。

Kafka 的主要用例之一是您所描述的高吞吐量环境。它非常适合对实时数据进行分析（例如，从数千台设备中查找平均温度）和连接多项服务。当然，您也可以自己托管。或者（与其他建议一样）IBM 将其作为名为@987654321@ 的云服务提供 - 并有一个关于将其用于Real Time Data Streams 的页面。

【讨论】：

【解决方案4】：

上述建议的替代方案是将 Redpanda 作为流式传输平台，将 Bytewax 作为计算平均值和通知的处理解决方案。

【讨论】：