Kafka、zk集群部署

1.克隆虚拟机
克隆出来三个虚拟机
ip如下：

one 192.168.73.200

two 192.168.73.201

three 192.168.73.202

修改eth1为eth0
编辑网络配置


删除配置

重启虚拟机
reboot

修改结果如下：

2.zookeeper集群
第一步：zookeeper的配置文件** zoo.cfg 每个文件都加入如下内容

server.1=192.168.25.130:2888:3888

server.2=192.168.25.137:2888:3888

server.3=192.168.25.133:2888:3888
第二步： 为每个zookeeper 创建data目录下面 （已经创建过）

# example sakes.

在zoo.cfg的配置文件中： dataDir=/opt/zookeeper/data

第三步：指定的myid文件 内容就是对应的**server.1 .后边的名字 1 2 3

指定的myid文件 内容就是对应的server.1 .后边的名字 1 2 3
[root@localhost Desktop]# cd /opt/zookeeper-3.4.10/data/
[root@localhost data]# echo “1”>myid
文件中的内容就是 1或者2或者3—>
server.1
echo “1”>/opt/zookeeper/data/myid 、
server.2
echo “2”>/opt/zookeeper/data/myid
server.3
echo “3”>/opt/zookeeper/data/myid

myid文件和server.myid 在快照目录下存放的标识本台服务器的文件，他是整个zk集群用来发现彼此的一个重要标识。

启动台电脑的zookeeper 看状态

kafka集群

第一台机器：
编辑kafka的配置文件

broker.id=0
num.partitions=3
zookeeper.connect=192.168.25.130:2181,192.168.25.137:2181,192.168.25.133:2181
host.name=192.168.73.200
listeners=PLAINTEXT://192.168.73.200:9092 #修改为本机ip

第二台机器：
编辑kafka的配置文件

broker.id=1
num.partitions=3
zookeeper.connect=192.168.25.130:2181,192.168.25.136:2181,192.168.25.133:2181
host.name=192.168.73.201
listeners=PLAINTEXT://192.168.73.201:9092 #修改为本机ip

第三台机器：
编辑kafka的配置文件

broker.id=2
num.partitions=3
zookeeper.connect=192.168.73.200:2181,192.168.73.201:2181,192.168.73.202:2181
host.name=192.168.73.202
listeners=PLAINTEXT://192.168.73.202:9092 #修改为本机ip

删除kafka的数据文件

rm -rf /opt/kafka/kafka-logs

kafka集群演示

第一步，启动三台电脑上的zookeeper

[root@localhost kafka] zkServer.sh start

第二步，启动三台电脑上的kafka

/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties

第三步：集群创建主题：

/opt/kafka/bin/kafka-topics.sh -create --bootstrap-server
192.168.73.200:9092,192.168.73.201:9092,192.168.73.202:9092 -replication-factor 3 --partitions 3 --topic chjy

第四步：集群查看主题：

/opt/kafka/bin/kafka-topics.sh -list --bootstrap-server 192.168.73.200:9092

第五步：集群生产者：

/opt/kafka/bin/kafka-console-producer.sh --broker-list
192.168.73.200:9092,192.168.73.201:9092,192.168.73.202:9092 --topic chjy

发送数据

第六步：集群消费者：

/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server
192.168.73.200:9092,192.168.73.201:9092,192.168.73.202:9092 --topic chjy

在另外两台电脑上运行消费者，看是否接受到了消息