【问题标题】:apache kafka vs redis as message broker in productionapache kafka vs redis 作为生产中的消息代理
【发布时间】:2021-08-17 21:26:27
【问题描述】:

我想使用 redis 作为我的提交和推送数据管道,而不是 kafka,因为它的速度和性能是“一劳永逸”策略的结果。如果我需要速度和数据安全怎么办?有没有人设法在不丢失数据的情况下使用 redis?

【问题讨论】:

  • Kafka 也可以使用即发即弃。听起来你应该在盲目地选择一个或另一个之前做一个基准测试。如果你确实想要持久性/复制/高可用性,那么 Redis 不应该是你的首选(也许 Kafka 也不应该)
  • @OneCricketeer 感谢您的回答,我对上限定理了如指掌,这不是要解决的持久性问题。 LinkedIn 正在使用 kafka 作为提交和推送数据管道,我不知道您是否知道这一点,但 kafka 将您的数据副本保存为一个文件并将其保存一周(可配置),这可以保证最小的数据丢失。所以我想知道redis是否可以做同样的事情但性能更高。
  • 这是评论,不是答案。而且,是的,我了解 Kafka(我是 Kafka 标记问题的前 3 个答案)。但是,我对 Redis 的 pub-sub 函数一无所知,但作为一个独立的缓存,它适用于我使用它的所有内容

标签: apache-kafka redis publish-subscribe data-loss fire-and-forget


【解决方案1】:

我发现 Kafka 和 Redis 的一个非常轻量且快速的替代品是 nats 和 nats 流。在观察了一家大公司大量使用 nats 并与 Kafka 并排使用后,我得出结论,这是一个非常合适的解决方案。易于维护、安全、快速。

【讨论】:

    猜你喜欢
    • 2017-12-23
    • 1970-01-01
    • 2016-12-18
    • 1970-01-01
    • 2020-02-09
    • 2015-10-28
    • 2019-05-23
    • 1970-01-01
    • 2023-01-21
    相关资源
    最近更新 更多