在搭建kafka集群之前,请保证zookeeper已安装。
1、下载
官网下载链接:http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.10.1.1/kafka_2.11-0.10.1.1.tgz
2、解压、移动
tar -zxvfkafka_2.11-0.10.1.1.tgz
mv kafka_2.11-0.10.1.1 /usr/tools/
3、配置环境变量,各个节点都需要配置
vi /etc/profile
#set kafka
export KAFKA_HOME=/usr/tools/kafka_2.11-0.10.1.1
export PATH=KAFKA_HOME/bin:$PATH
使用环境变量生效
source /etc/profile
4、配置 server.properties
cd /usr/tools/kafka_2.11-0.10.1.1/config //安装目录
vi server.properties
(1)、配置 broker 的ID
broker.id=1 //第一个kafka配置为 1,第二个配置为2,以此类推
(2)、打开监听端口
listeners=PLAINTEXT://192.168.2.10:9092 //尽量写ip地址,以免造成错误
(3)、修改 log 的目录、在指定的位置创建好文件夹logs
log.dirs=/usr/local/kafka/logs
(4)、修改 zookeeper.connect
尽量写ip地址,以免造成错误
zookeeper.connect=master:2181,slave1:2181,slave2:2181,slave3:2181
(5)、网络线程数量
num.network.threads=3
(6)Zookeeper每6秒监视kafka是否还活着
zookeeper.connection.timeout.ms=6000(默认)

5、拷贝配置好的kafka文件到子节点服务器,然后修改broker.id的值,以及监听端口需要修改listeners
scp -r /usr/tools/kafka_2.11-0.10.1.1 [email protected]:/usr/tools/
6、启动kafka之前需启动zookeeper,然后启动kafka,各个节点需单独启动
进入kafka安装目录:cd /usr/tools/kafka_2.11-0.10.1.1

启动命令:
cd /usr/tools/kafka_2.11-0.10.1.1
打印日志:
./bin/kafka-server-start.sh config/server.properties
不打印日志:
./bin/kafka-server-start.sh -daemon config/server.properties

7、检查kafka是否启动成功,通过jps查看jps是否启动成功


kafka_2.11-0.10.1.1集群搭建安装配置

8,、通过创建一个topic(名字为test)来测试是否能成功运行,随便选择一个节点运行
在bin目录下
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
9.列出kafka:kafka-topics.sh --list -zookeeper 192.168.2.10:2181
Created topic test.
出现这个即表示创建test成功



关于topic
1.创建一个test 的topic命令:
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
kafka_2.11-0.10.1.1集群搭建安装配置

2.查看列出一下topic是否创建好
kafka-topics.sh --list -zookeeper 192.168.2.10:2181
kafka_2.11-0.10.1.1集群搭建安装配置

3.以生产身份对topic进行广播
./bin/kafka-console-producer.sh --broker-list 192.168.2.10:9092 --topic test
kafka_2.11-0.10.1.1集群搭建安装配置

4.集群其他节点以顾客身份进行访问
./bin/kafka-console-consumer.sh --zookeeper 192.168.2.11:2181 --from-beginning --topic test
kafka_2.11-0.10.1.1集群搭建安装配置

连接上后,producer发送任何消息,consumer都能实时接收到

相关文章:

  • 2021-11-02
  • 2022-12-23
  • 2022-01-07
  • 2021-09-07
  • 2021-11-18
猜你喜欢
  • 2021-11-25
  • 2021-06-04
  • 2021-07-09
  • 2022-12-23
  • 2022-01-12
  • 2021-08-19
相关资源
相似解决方案