1,选定版本和文件配置
用Kafka_2.11-0.8.2.1版本
下载地址:https://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz
解压: tar -zxf kafka_2.11-0.8.2.1.tgz -C /opt/modules/
配置config下面的2个文件夹如下图:
kafka分布式集群部署

配置server 里面的

kafka分布式集群部署

要先创建一个文件夹
kafka分布式集群部署
kafka分布式集群部署
producer 文件修改 localhost
kafka分布式集群部署

然后scp到第2台和第3台机器上并且修改broker.id 为 1,2,因为第一台的id 是 0.还要修改hostname 为 02和03
到此就文件配置完成。

2,启动和依赖zookeeper服务测试
启动 kafka:bin/kafka-server-start.sh config/server.properties

kafka分布式集群部署
create
a,bin/kafka-topics.sh --create --zookeeper bigdata01:2181,bigdata02:2181,bigdata03:2181 --replication-factor 1 --partitions 1 --topic test

b,bin/kafka-topics.sh --create --zookeeper bigdata01:2181,bigdata02:2181,bigdata03:2181 --replication-factor 1 --partitions 1 --topic protest

c,bin/kafka-topics.sh --create --zookeeper bigdata01:2181,bigdata02:2181,bigdata03:2181 --replication-factor 1 --partitions 1 --topic cao

kafka分布式集群部署
启动zookeeper 查看 create的
命令:bin/zkCli.sh
然后查看:
kafka分布式集群部署
查看已经全部创建成功:
kafka分布式集群部署

至此全部完成!

相关文章: