一、安装kafka
1、解压文件
tar -zxvf kafka_2.9.2-0.8.1.1.tgz -C /usr/local
2、修改配置文件/usr/local/kafka_2.9.2-0.8.1.1/config/server.properties
mkdir /usr/local/kafka_2.9.2-0.8.1.1/logs
低版本,如0.8.1.1
host.name=192.168.xx.xxx
log.dirs=/usr/local/kafka_2.9.2-0.8.1.1/logs
zookeeper.connect=192.168.xx.xxx:2181
高版本,如2.1.1 listeners=PLAINTEXT://192.168.xx.xxx:9092 advertised.listeners=PLAINTEXT://192.168.xx.xxx:9092
log.dirs=/usr/local/myroom/kafka_2.11-2.1.1/logs
zookeeper.connect=192.168.xx.xxx:2181
3、启动zookeeper服务
zkServer.sh start
4、启动kafka服务
bin/kafka-server-start.sh config/server.properties &
5、登录zookeeper客户端,查看kafka是否注册到其中
zkCli.sh
启动kafka之前,只有zookeeper
[zk: localhost:2181(CONNECTED) 2] ls /
[zookeeper]
启动kafka后,发现kafka信息已经注入到了zookeeper,启动成功
[zk: localhost:2181(CONNECTED) 3] ls /
[controller, controller_epoch, brokers, zookeeper, admin, consumers, config]
二、kafka的一些基本操作
1、创建topic
低版本,如0.8.1.1 bin/kafka-topics.sh --create --zookeeper 192.168.7.151:2181 --replication-factor 1 --partitions 3 --topic mydemo1
高版本,如2.1.1
bin/kafka-console-producer.sh --broker-list 192.168.43.121:9092 --topic mydemo1
replication-factor 1表示有一个Broker
partitions 3表示该topic有3个分区
mydemo1表示topic名称
2、发送消息
bin/kafka-console-producer.sh --broker-list 192.168.43.151:9092 --topic mydemo1
3、接收消息
低版本,如0.8.1.1
bin/kafka-console-consumer.sh --zookeeper 192.168.7.151:2181 --topic mydemo1
高版本,如2.1.1
bin/kafka-console-consumer.sh --bootstrap-server 192.168.7.121:9092 --topic mydemo1
4、查看topic列表
bin/kafka-topics.sh --list --zookeeper 192.168.7.151:2181 --topic mydemo1
5、查看topic详情
bin/kafka-topics.sh --describe --zookeeper 192.168.7.151:2181 --topic mydemo1
6、关闭kafka
bin/kafka-server-stop.sh config/server.properties