参考资料
Kafka 介绍
Kafka 是由 Apache 软件基金会开发的一个开源流处理平台,由 Scala 和 Java 编写。Kafka 是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。
Kafka 模式
点对点:消费者主动拉取数据,消费后,消息清除。
发布订阅:消费者主动拉取数据,消费后,消息不会被清除。
Kafka 集群
1、Kafka 集群依赖于 Zookeeper。
2、每个 Kafka 实例都必须有一个唯一整数的 broker_id。
3、可以在 Zookeeper 中执行 shell 脚本,来进行 Kafka 集群的全部开启和全部关闭。
4、主题消息默认会保留 Kafka 实例中7天。
5、集群中,可以设置主题的分区和副本,副本至少一个,且不能超过 Kafka 节点个数。
6、集群接受主题消息时,默认按照轮询方式进行负载均衡。