用于实时 BI 的 kafka 或 redis答案

【问题标题】：kafka or redis for realtime BI用于实时 BI 的 kafka 或 redis
【发布时间】：2017-09-03 18:39:46
【问题描述】：

我正在开发一个实时商业智能项目，我正在使用弹性堆栈火花流和卡夫卡？但我想知道我是否可以使用redis而不是kafka，因为redis似乎是一个内存中的野兽，可以实时转发数据，我很困惑谁能帮我选择正确的技术，我之前发布过在这里询问实时 BI 的架构，他们建议我下一个架构： LOgstash=>kafka=>spark streaming=>elasticsearch=>kibana 谢谢你的回答

【问题讨论】：

嗨 Drissi，查看我不久前给出的另一个答案，它试图描绘 Spark 数据库生态系统：stackoverflow.com/a/39753976 它应该让您更深入地了解可以与 Spark 结合使用的不同数据库执行或提供实时分析类查询
这也很有帮助，非常感谢

标签： elasticsearch redis apache-kafka logstash spark-streaming

【解决方案1】：

总之，如果数据量大，数据要复用，那么首先要考虑Kafka，否则在以最小延迟处理实时消息处理时，您应该首先尝试 Redis。

您可以尝试 Redis，因为 Redis 可以支持生产 ELK（Elasticsearch、Logstash、Kibana）堆栈。 Redis 是一个内存存储。这意味着它使用其主内存进行存储和处理，这使其比基于磁盘的 Kafka 快得多。 Redis 内存存储的唯一问题是我们无法长时间存储大量数据。由于主内存比磁盘小，我们必须通过自动将数据从内存移动到磁盘并为新数据腾出空间来定期清除它。此外，Redis 没有 Kafka 那样的并行概念，多个进程可以同时消费数据。

Redis 架构 -: logstash(shipper) ->redis elastic search -> kibana 。 Redis 也有缓冲设施，以防 logstash(indexer) 宕机。

要知道，如何将 redis 与 logstash 和 elastic 一起使用，这是很好的解释：- https://ianunruh.com/2014/05/monitor-everything-part-2.html

要收集有关 redis 与 kafka 的知识，您可以查看此链接：- https://logz.io/blog/kafka-vs-redis/ https://www.quora.com/What-are-the-advantages-of-Kafka-over-Redis-for-pub-sub

【讨论】：