kafka单节点迁移到分布式

一 zookeeper 分布式搭建

1. 下载zookpeeper：zookeeper-3.14.10.tar.gz

2. 根据公司使用

3. 将zookeeper-3.4.10.tar.gz在user/local/下解压

4. 创建文件夹mkdir /usr/local/zookeeper-3.4.10/data

5. 更名并修改zk配置文件
   a) cd /usr/local/zookeeper-3.4.10/conf/
   b) mv zoo_sample.cfg zoo.cfg
   c) vi zoo.cfg
   

6. 创建zk日志目录,并修改日志指向
   mkdir /usr/local/zookeeper-3.4.10/log
   vi /usr/local/zookeeper-3.4.10/bin/zkEnv.sh
   
   vi usr/local/zookeeper-3.4.10/conf/ log4j.properties
   

7. 按照上面的过程在三个服务器中搭建zk

8. 创建myid
   Vi /usr/local/zookeeper-3.4.10/data/myid
   

9. 修改zk配置：vi /usr/local/zookeeper-3.4.10/conf/zoo.cfg
   

10. 分别启动三个zk：/usr/local/zookeeper-3.4.10/bin/zkServer.sh start /usr/local/zookeeper-3.4.10/conf/zoo.cfg

11. 查看zk状态 /usr/local/zookeeper-3.4.10/bin/zkServer.sh status
    查看到一个leader，其他为follower代表成功

12. 停止 /usr/local/zookeeper-3.4.10/bin/zkServer.sh stop

二 .kafka 分布式搭建
13. 根据公司版本下载kafka：kafka_2.12-0.10.2.0.taz
14. 解压kafka
a) cd /usr/local
b) tar -zxf kafka_2.12-0.10.2.0.tgz
15. 创建数据文件夹：mkdir /usr/local/kafka_2.12-0.10.2.0/data
16. 修改配置文件:vi /usr/local/kafka_2.12-0.10.2.0/config/server.properties

17. 按照相同的步骤配置两个kafka

二 .数据重新分配

1. 查看老kakfa的所有的topic：bin/kafka-topic.sh –zookeeper 192.168.8.107:2181, 192.168.8.107:2181, 192.168.8.107:2181 --list

2. 记录并修改原来kafka的分区数目：bin/kafka-topic.sh --alter –zookeeper 192.168.8.107:2181, 192.168.8.107:2181, 192.168.8.107:2181 --partition 20 --topic xx

3. 启动之前准备好的两个kafka：/usr/local/kafka_2.12-0.10.2.0/bin/kafka-server-start.sh -daemon /usr/local/kafka_2.12-0.10.2.0/config/server.properties

4. 去zk检查一下是不是所有节点都上来了。

5. 成功后，编写所需的json文件：vi expand-cluster-reassignment.json,格式如下
   

6. 分区重新分配到副本中：bin/kafka-reassign-partitions.sh –zookeeper 192.168.8.107:2181, 192.168.8.107:2181, 192.168.8.107:2181 --reassignment-json-file expand-cluster-reassignment.json –execute
   打印出 Successfully started reassignment of partitions 重新分区成功

7. 对于需要新创建的topic：bin/kafka-topics.sh --create --zookeeper localhost:2181(zk集群节点,隔离) --replication-factor 1（集群个数） --partitions 1（分区数，推荐20个） --topic （topic名称）