Kafka安装部署与测试
Kafka
Kafka(http://kafka.apache.org)是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。kafka是一种高吞吐量的分布式发布订阅的消息队列系统，具有高性能和高吞吐率
- Broker（代理）
Kafka集群包含一个或多个服务器，这种服务器被称为broker - Topic（主题）
每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic（在物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处） - Partition（分区）
Partition是物理上的概念，每个Topic包含一个或多个Partition.（一般为kafka节点数cpu的总核数） - Producer（生产者）
负责发布消息到Kafka broker - Consumer（消费者）
从Kafka broker读取消息的客户端 - Consumer Group（消费者组）
每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的Group）
1.软件配置
1.1软件下载
http://kafka.apache.org/downloads.html
1.2配置文件修改log、data存储路径
2.程序启动
2.1启动zookeeper
.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties
2.2启动kafka服务
.\bin\windows\kafka-server-start.bat .\config\server.properties
3.创建topic测试主题kafka
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
4.创建生产者产生消息
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test
5.创建消费者接收消息
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning