mayhh

kafka安装部署

1、zxvf kafka_2.12-2.0.0.tgz 上传到home/用户下

目前搭建了三个节点的kafka集群,分别在172.16.41.141172.16.41.142172.16.41.143服务器上

解压tar -zxvf kafka_2.12-2.0.0.tgz

先检查21819092端口是否被别的应用所占用

2、配置文件修改

    cd kafka_2.12-2.0.0/config/

①、zookeeper.properties (需要手动创建文件夹/tmp/zookeeper,/tmp/log/zookeeper)

dataDir=/tmp/zookeeper

dataLogDir=/tmp/log/zookeeper

clientPort=2181

maxClientCnxns=100

tickTime=2000

initLimit=10

syncLimit=5

server.1=172.16.41.141:2888:3888

server.2=172.16.41.142:2888:3888

server.3=172.16.41.143:2888:3888

    进入到/tmp/zookeeper/文件夹下创建myid文件,将三个服务器上的myid文件分别写入 123,如下:myidzk集群用来发现彼此的标识,必须创建,且不能相同;

 

server.properties(以下字段如果有就修改,如果没有就添加,以下都是)

路径:vi  server.properties

21    broker.id=0   #0/1/2

31  listeners=PLAINTEXT://172.16.41.141:9092  #172.16.41.141:9092/172.16.41.141:9092

32    host.name=172.16.41.141  #172.16.41.142/172.16.41.143

123  zookeeper.connect=172.16.41.141:2181,172.16.41.142:2181,172.16.41.143:2181

126   zookeeper.connection.timeout.ms=6000

server.properties配置文件的修改主要在开头和结尾,中间保持默认配置即可;需要注意的点是broker.id的值三个节点要配置不同的值,分别配置为012log.dirs必须保证目录存在,不会根据配置文件自动生成;

②、zk启动命令:

自带zk启动(后台启动):cd /kafka_2.12-1.1.0/bin(以下都是在此路径下执行)

nohup ./zookeeper-server-start.sh ../config/zookeeper.properties 2>&1 &           敲两下回车

 

kafka启动(后台启动):

nohup ./kafka-server-start.sh ../config/server.properties 2>&1 &

敲两下回车

 

④、创建topic

./kafka-topics.sh --create --zookeeper 172.16.41.141:2181 --replication-factor 1 --partitions 1 --topic NBH

或者./kafka-topics.sh --create --zookeeper 172.16.41.141:2181 --replication-factor 3 --partitions 3 --topic NBH

或者./kafka-topics.sh --create --zookeeper 172.16.41.141:2181,172.16.41.142:2181,172.16.41.143:2181 --replication-factor 3 --partitions 3 --topic NBH

 

 ⑤查看所有topic

./kafka-topics.sh --list --zookeeper 172.16.41.141:2181

 

 

分类:

技术点:

kafka

相关文章: