学了有一段时间的大数据了,学习新的组件,大部分安装可以分为三步:上传解压,配置文件,启动。

分享一下我的kafka安装包:

  链接:https://pan.baidu.com/s/1fbydwZwcYyi2saYozit0nA
  提取码:w4oc

 

1、上传解压

KaFka 安装与基本使用

 

 

2、进入到 /usr/local/soft/kafka_2.10-0.8.2.2/config 目录下,修改server.properties文件

KaFka 安装与基本使用

 

 

3、因为Kafka是去中心化的,所以我们需要在每一台节点上都要有

修改上面配置文件中的两个信息:

(1)brokers.id

KaFka 安装与基本使用

 

 (2)zookeeper

KaFka 安装与基本使用

 

 

4、scp到每个节点,并且修改broker.id

 

5、先每个节点启动zookeeper 

 

6、每个节点上启动kafka

  nohup /usr/local/soft/kafka_2.10-0.8.2.2/bin/kafka-server-start.sh /usr/local/soft/kafka_2.10-0.8.2.2/config/server.properties >>/usr/local/soft/kafka_2.10-0.8.2.2/logs/start.log 2>&1 &

 

7、查看进程

KaFka 安装与基本使用

 

 

8、创建topic

--replication-factor ---每一个分区的副本数量
--partition --分区数

kafka-topics.sh --create --zookeeper testmaster:2181,testnode1:2181,testnode2:2181,testnode3:2181 --replication-factor 4 --partitions 4 --topic flume

kafka-topics.sh --create --zookeeper Linux:2181,Linux1:2181,Linux2:2181 --replication-factor 3 --partitions 3 --topic topic


9、查看topic描述信息
kafka-topics.sh --describe --zookeeper testmaster:2181,testnode1:2181,testnode2:2181,testnode3:2181 --topic topic

kafka-topics.sh --describe --zookeeper Linux:2181,Linux1:2181,Linux2:2181 --topic topic

10、获取所有topic
kafka-topics.sh --list --zookeeper testmaster:2181,testnode1:2181,testnode2:2181,testnode3:2181
kafka-topics.sh --list --zookeeper Linux:2181,Linux1:2181,Linux2:2181

11、创建控制台生产者
kafka-console-producer.sh --broker-list testmaster:9092,testnode1:9092,testnode2:9092,testnode3:9092 --topic topic

kafka-console-producer.sh --broker-list Linux:9092,Linux1:9092,Linux2:9092 --topic topic

12、创建控制台消费者 --from-beginning 从头消费
kafka-console-consumer.sh --zookeeper testmaster:2181,testnode1:2181,testnode2:2181,testnode3:2181 --from-beginning --topic topic
kafka-console-consumer.sh --zookeeper Linux:2181,Linux1:2181,Linux2:2181 --from-beginning --topic topic

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --topic topic

kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic topic

 

相关文章:

  • 2022-12-23
  • 2021-11-18
  • 2020-10-13
  • 2021-09-24
  • 2021-04-25
  • 2021-09-09
  • 2021-11-29
  • 2021-11-01
猜你喜欢
  • 2021-09-24
  • 2021-06-24
  • 2022-12-23
  • 2018-12-17
  • 2021-06-11
  • 2021-04-06
相关资源
相似解决方案