kafka connector部署
zookeeper部署
- 下载链接
https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.6.2/apache-zookeeper-3.6.2-bin.tar.gz
- 安装包的目录和解压的目录是 /usr/local
- 配置系统环境变量
vim ~/.bash_profile
关于系统环境变量的文件在哪改，可以参考 /etc/profile和~/.bash_profile的区别与联系
- 配置zookeeper 文件。
$ZK_HOME/conf/zoo.cfg。conf目录下zoo_sample.cfg 重命名为zoo.cfg，并且更改dataDir项，dataDir不要放在默认的/tmp下（关机就没了）
- 启动ZooKeeper
$ZK_HOME/bin/zkServer.sh start
-
经过第六步骤的检验，我的zookeeper并没有启动成功，此时，可以通过
$ZK_HOME/bin/zkServer.sh start-foreground判断出错情况 -
上面的异常表示8080端口已经被使用，可以有两种解决办法：
-
解决端口占用
-
更换管理端口
admin.serverPort=18080
-
详细参考https://blog.csdn.net/J080624/article/details/102080621
- 检查是否启动成功。通过
jps命令，如果出现QuorumPeerMain进程，则说明启动成功
kafka部署
- 下载链接
https://mirrors.bfsu.edu.cn/apache/kafka/2.6.0/kafka_2.13-2.6.0.tgz
- 安装包的目录和解压的目录是 /usr/local
- 配置系统环境变量
vim ~/.bash_profile
- 配置文件
$KAFKA_HOME/config/server.properties
log.dirs不要放在默认的/tmp下
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-x2EiA5XH-1601865285911)(C:\Users\BluthLeee\AppData\Roaming\Typora\typora-user-images\image-20200926170000776.png)]
根据连接的zookeeper实际情况判断是否改localhost
- 启动Kafka
./kafka-server-start.sh -daemon /usr/local/kafka_2.13-2.6.0/config/server.properties
- 检查是否启动成功。通过
jps命令，如果出现Kafka进程，则说明启动成功
- 创建topic
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic lstest
- 查看所有的topic
./kafka-topics.sh --list --zookeeper localhost:2181
- 启动生产者
./kafka-console-producer.sh --broker-list localhost:9092 --topic lstest
- 启动消费者
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic lstest
在生产者输入，消费者可以看到输出，详细参考https://kafka.apachecn.org/quickstart.html