kafka集群监控之kafka-manager部署(ProdServerStart)
作者:尹正杰
版权声明:原创作品,谢绝转载!否则将追究法律责任。
一.kafka manager简介
1>.什么是Kafka Manager
KafkaManager是一个用于管理Kafka的web工具,由yahoo开发并开源。
雅虎官网GitHub项目:https://github.com/yahoo/kafka-manager。需要安装jdk1.8版本。
我们可以参考官方的文档进行编译和简单配置即可使用。
2>.kafka manager支持功能
其提供了如下管理和监控能力:
管理多集群
查看集群状态(topics,consumers,offsets,brokers等)
执行倾向副本选举
生成分区重分布计划(自动和手动)
执行分区重分布
多topic批量生成分区重分布计划,执行分区重分布
使用指定参数创建topic
删除topic(需要集群参数开启)
现有topic增加分区
通过JMX获取broker层面和topic层面指标
二.部署kafka manager
1>.下载kafka-manager
[root@node108.yinzhengjie.org.cn ~]# ll total 67092 -rw-r--r-- 1 root root 68699247 Jul 13 22:08 kafka-manager-1.3.0.7.zip #这里提供编译好了的包,下载后可以直接使用,可以不用去sbt编译。 [root@node108.yinzhengjie.org.cn ~]#
2>.解压kafka-manager
[root@node108.yinzhengjie.org.cn ~]# yum -y install unzip zip Loaded plugins: fastestmirror Loading mirror speeds from cached hostfile * base: mirror.bit.edu.cn * extras: mirror.bit.edu.cn * updates: mirror.bit.edu.cn base | 3.6 kB 00:00:00 extras | 3.4 kB 00:00:00 updates | 3.4 kB 00:00:00 updates/7/x86_64/primary_db | 6.5 MB 00:00:05 Resolving Dependencies --> Running transaction check ---> Package unzip.x86_64 0:6.0-19.el7 will be installed ---> Package zip.x86_64 0:3.0-11.el7 will be installed --> Finished Dependency Resolution Dependencies Resolved ============================================================================================================================================================================================================================================================================== Package Arch Version Repository Size ============================================================================================================================================================================================================================================================================== Installing: unzip x86_64 6.0-19.el7 base 170 k zip x86_64 3.0-11.el7 base 260 k Transaction Summary ============================================================================================================================================================================================================================================================================== Install 2 Packages Total download size: 430 k Installed size: 1.1 M Downloading packages: (1/2): unzip-6.0-19.el7.x86_64.rpm | 170 kB 00:00:00 (2/2): zip-3.0-11.el7.x86_64.rpm | 260 kB 00:00:00 ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ Total 795 kB/s | 430 kB 00:00:00 Running transaction check Running transaction test Transaction test succeeded Running transaction Installing : zip-3.0-11.el7.x86_64 1/2 Installing : unzip-6.0-19.el7.x86_64 2/2 Verifying : unzip-6.0-19.el7.x86_64 1/2 Verifying : zip-3.0-11.el7.x86_64 2/2 Installed: unzip.x86_64 0:6.0-19.el7 zip.x86_64 0:3.0-11.el7 Complete! [root@node108.yinzhengjie.org.cn ~]#