为什么卡夫卡这么快[关闭]

Question

如果我有相同的硬件，请使用 Kafka 或我们当前的解决方案（ServiceMix/Camel）。有什么区别吗？ Kafka 可以处理比它“更大”的数据吗？为什么？

有一篇文章说它可以有多快？但我仍然不清楚为什么 Kafka 与其他解决方案相比如此之快？ Benchmarking Apache Kafka: 2 Million Writes Per Second (On Three Cheap Machines)

Answer 1

Kafka 速度很快，原因有很多。仅举几例。

• 零拷贝 - 基本见https://en.wikipedia.org/wiki/Zero-copy 直接调用操作系统内核而不是在应用层移动 数据快。
• Batch Data in Chunks - Kafka 是关于批处理 数据成块。这最大限度地减少了跨机器延迟与所有 伴随此的缓冲/复制。
• 避免随机磁盘访问 - 由于 Kafka 是一个不可变的提交日志，它不需要倒带磁盘并执行许多随机 I/O 操作，并且可以按顺序访问磁盘。这使其能够从 物理磁盘与内存相比。
• 可以水平缩放 - 为单个主题传播提供数千个分区的能力 在数千台机器中意味着 Kafka 可以处理巨大的负载。