Elasticsearch+kibana+x-pack+metricbeat 7.6.0单机版环境搭建
一.简介
2004年Compass诞生。2010年Shay重写Compass,变成著名的Elasticsearch。成为了Github上最活跃的项目之一,拥有超过736名Contributors。2012年Shay 成立商业公司 Elasticsearch 。2014年获得7000万美金融资。2015年,正式更名为Elastic,主要产品从单纯的Elasticsearch变为ELK(Elasticsearch ,Logstash和Kibana)。
2018年,Elastic成功上市,市值达到惊人的50亿美金。目前,Elasticsearch已经有超过3.5亿的产品下载,一个汇聚100000多名开发人员的社区和超过5500名客户。
Elastic的几项核心开源组件,就是大家熟知的ELK或者ELKB。使得大数据处理的相关性、速度、规模化的三大问题,能够被Elastic解决。ELKB是什么?
第一,是一套系统堆栈Elastic Stack。
第二,是包括了倒排索引,列式存储等最核心的Elasticsearch搜索引擎。
第三,是包含了Beats和Logstash的数据导入工具,其中Beats 是轻量型采集器的平台,从边缘机器向 Logstash 和 Elasticsearch 发送数据;Logstash 是动态数据收集管道,拥有可扩展的插件生态系统,能够与Elasticsearch产生强大的协同作用。
第四,是数据展现工具Kibana ,它能够以图表的形式呈现数据,并且具有可扩展的用户界面,全方位配置和管理Elastic Stack。from- https://baijiahao.baidu.com/s?id=1620192105170157291&wfr=spider&for=pc
二.资源下载
2.这位博主( Day____Day____Up)提供了百度云盘下载elasticsearch、kibana、logstash。地址 https://blog.csdn.net/weixin_37281289/article/details/101483434
注:安装的组件请使用同一个版本号,以免出现不兼容现象
三.Elasticsearch安装配置
1.解压后的文件结构如下所示
2.服务器配置
elasticsearch 默认情况下不能使用root用户启动的,使用elasticsearch时请切换成普通用户,因普通用户对文件的添加描述等操作有限制,需进行一下配置,以免后续出错。
vim /etc/security/limits.conf 追加以下配置
* hard nofile 65536
* soft nofile 65536
查看更改是否生效
ulimit -n
vi /etc/sysctl.conf 追加以下配置
vm.max_map_count=655360
查看更改是否生效
sysctl -p
3.修改./config/elasticsearch.yml 在末尾添加一下内容
cluster.name: yh_cluster #集群名
node.name: node_one #节点名
network.host: 192.168.14.10 #本机ip
http.port: 9200
transport.tcp.port: 9300
cluster.initial_master_nodes: ["node_one"] #集群节点名?目前不清楚这个属性
discovery.zen.ping.unicast.hosts: ["192.168.14.10"] #ES集群中的各主机IP
discovery.zen.minimum_master_nodes: 1 #最小节点数量,单机部署节点为1
gateway.recover_after_nodes: 1 #超时后生效的节点数
network.bind_host: 0.0.0.0 #最好带上,以免以后报错
xpack.security.enabled: true #开启x-pack,7.x以后的版本已默认安装x-pack,配置即可令其生效
xpack.security.transport.ssl.enabled: true #如需开启x-pack,此项必须设置
4.切换至elasticsearche目录
./elasticsearch 启动,终端显示信息
./elasticsearch -d 以守护进程方式启动
终端无明显报错,访问配置的服务器端口 9200,看下类似下图的说明则说明elasticsearch安装成功。
5.由于开启了x-pack,需要设置密码
./elasticsearch-setup-passwords interactive
运行命令并选择 yes 选项后,会要求对elastic、kibana、logstash等账号修改密码,最好全部都设成同一个密码以免忘记。
四.Kinana安装配置
1.解压后的文件结构如下所
2.配置./config/kibana.yml
server.port: 5601
server.host: "192.168.14.10"
server.name: "my_kibana" #kibana服务名,随意起
elasticsearch.hosts: "http://192.168.14.10:9200" #注:开始设置的是urls导致服务起不起来
elasticsearch.username: "elastic" #默认的账号
elasticsearch.password: "1234556" #设置的密码
xpack.reporting.encryptionKey: "a_random_string"
xpack.security.encryptionKey: "something_at_least_32_characters"
elasticsearch.requestTimeout: 90000 #此处设小的话可能会报错
3.启停操作
./kibana 启动
nohup sh kibana >> /dev/null & 守护进程方式启动
访问 http://192.168.14.10:5601/ 页面无报错则说明配置成功
结束kibana进程
ps -ef | grep node 获取kibana进程pid
kill -9 $ pid
注:建议等配置完 metricbeat 后再使用 kibana
四.metricbeat安装配置
1.修改 metricbeat.yml
setup.kibana:
host: "192.168.14.10:5601"
output.elasticsearch:
hosts: ["192.168.14.10:9200"]
username: "elastic"
password: "1234556"
2.启动 metricbeat
nohup ./metricbeat -c metricbeat.yml >> /dev/null &
3.将 metricbeat 导入至kibana 的 dashboard 中
./metricbeat setup --dashboards
4.访问kibana
输入网址 http://192.168.14.10:5601/ 即可访问kibana,在 dashboard中可看到被监控服务器的相关指标
本文完成了EKB环境的搭建,目的是减少各位的踩坑。
参考博文: