当Kafka 减少Broker节点后,需要把数据分区迁移到其他节点上,以下将介绍我的一次迁移验证过程。

前3步为环境准备,实际数据操作看第4步即可

增加Broker节点,也可以采用步骤4相同的方法进行重新分区

 

1、创建测试topic,具有3个分区,2个副本

kafka-topics --create --topic test-topic \

--zookeeper cdh-002/kafka \

--replication-factor 2 --partitions 3

2、查看test-topic

kafka-topics --describe --zookeeper cdh-002/kafka --topic test-topic

Kafka 数据迁移(增加节点和减少节点均适用)

3、产生若干条数据

kafka-console-producer --topic test-topic \

--broker-list cdh-004:9092

Kafka 数据迁移(增加节点和减少节点均适用)

 

4、kafka-reassign-partitions重分区(假设需要减少节点broker 75,本测试通过关闭对应kafka broker节点模拟)

Kafka 数据迁移(增加节点和减少节点均适用)

 

(1) 新建文件topic-to-move.json ,比加入如下内容

{"topics": [{"topic":"test-topic"}], "version": 1}

(2) 使用--generate生成迁移计划,broker-list根据自己环境设置,我的环境由于broker 75挂掉了,只剩下76和77

kafka-reassign-partitions --zookeeper cdh-002/kafka \

--topics-to-move-json-file /opt/lb/topic-to-move.json \

--broker-list "76,77" --generate

 

输出日志:(从日志可知各个分区副本所在的Broker节点,以及建议的副本分布)

Current partition replica assignment  (当前分区副本分布)

{"version":1,"partitions":[{"topic":"test-topic","partition":0,"replicas":[76,77]},{"topic":"test-topic","partition":2,"replicas":[75,76]},{"topic":"test-topic","partition":1,"replicas":[77,75]}]}

 

Proposed partition reassignment configuration  (建议分区副本分布)

{"version":1,"partitions":[{"topic":"test-topic","partition":0,"replicas":[76,77]},{"topic":"test-topic","partition":2,"replicas":[76,77]},{"topic":"test-topic","partition":1,"replicas":[77,76]}]}

 

(3) 新建文件kafka-reassign-execute.json,并把建议的分区副本分布配置拷贝到新建文件中

Kafka 数据迁移(增加节点和减少节点均适用)

(4) 使用--execute执行迁移计划  (有数据移动,broker 75上的数据会移到broker 76和77上,如果数据量大,执行的时间会比较久,耐心等待即可)

kafka-reassign-partitions --zookeeper cdh-002/kafka \

--reassignment-json-file /opt/lb/kafka-reassign-execute.json \

--execute

(5)使用-verify查看迁移进度

kafka-reassign-partitions --zookeeper cdh-002/kafka \

--reassignment-json-file /opt/lb/kafka-reassign-execute.json \

--verify

Kafka 数据迁移(增加节点和减少节点均适用)

(6)通过消费者验证,可知,并未丢失数据。注意需要加--from-beginning。(此时broker 75和77同时宕机,也不会丢失数据)

kafka-topics --deconsole-consumer --topic test-topic --from-beginning --zookeeper cdh-002/kafka

Kafka 数据迁移(增加节点和减少节点均适用)

 

 

相关文章: