kafka + zookeeper 平台搭建

1.安装zookeeper

1.下载zookeeper

1.下载apache-zookeeper-3.5.8-bin.tar.gz,(新版本命名方式改变,带bin的为已编译文件,不带bin的直接解压会无法使用),本地解压

2.将conf目录下的zoo_sample.cfg重命名为zoo.cfg,用记事本打开,修改文件内dataDir的值为安装目录\data

3.在安装目录新建data文件夹

4.配置系统环境变量ZOOKEEPER_HOME:安装目录,PATH:%ZOOKEEPER_HOME%bin;

5.打开cmd,进入bin目录输入zkServer.cmd启动zookeeper,若无报错(图1),并打开新cmd,输入netstat找到端口2181(图2)说明zookeeper启动成功

图1:zookeeper+kafka平台搭建(windows)

图2:zookeeper+kafka平台搭建(windows)

2.安装kafka

1.下载kafka

1.下载kafka,kafka_2.13-2.6.0.tgz(同上,下载不带src的,否则无法使用),本地解压

2.找到config目录下server.properties文件,用记事本打开,将log.dirs的值改为安装目录\kafka-logs,并在安装目录新建kafka-logs文件夹

3.修改server.properties下zookeeper+kafka平台搭建(windows)

2.启动kafka

打开cmd,进入安装目录,输入.\bin\windows\kafka-server-start.bat .\config\server.properties
(这一步命令比较长,建议安装目录不要太深,否则会报命令过长错误)

无报错说明启动成功。

如图3:zookeeper+kafka平台搭建(windows)

3.创建topic

打开新cmd,进入安装目录\bin\windows,输入kafka-topics.bat --create –bootstrap-server localhost:2181 --replication-factor 1 --partitions 1 --topic test,窗口显示Created topic “test” 表示创建成功(关机重启后topic不会消失)

4.创建Producer

打开新cmd,进入安装目录\bin\windows,输入kafka-console-producer.bat --broker-list localhost:9092 --topic test,出现输入箭头说明成功

如图:zookeeper+kafka平台搭建(windows)

5.创建Consumer

1.打开新cmd,进入安装目录\bin\windows

2.输入kafka-console-consumer.bat –bootstrap-server localhost:9092 --topic test

(踩坑,旧版使用kafka-console-consumer.bat –zookeeper localhost:9092 --topic test)

如图:zookeeper+kafka平台搭建(windows)

6.测试Producer和Consumer

在producer窗口输入测试数据(kafka test),按下回车,点开consumer窗口,显示生产者的数据则说明创建成功

生产者:zookeeper+kafka平台搭建(windows)

消费者:zookeeper+kafka平台搭建(windows)

附:python创建Consumer代码:zookeeper+kafka平台搭建(windows)

接收到的数据:zookeeper+kafka平台搭建(windows)

相关文章: