ES配置
ES分词器安装 由于elasticsearch默认的分词器是全文分词,需要安装ik分词器。
进入到bin目录中
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.7.1/elasticsearch-analysis-ik-7.7.1.zip
安装成功
这里就看最后怎么做了,如果确定是分布式的。
就把es 这玩意copy几个,看你准备几个节点了
一般三个节点都行,但是我估摸着用一个就够了,
如果做成分布式的。
我还是讲下吧
打开yml配置文件
这里确定集群的名称,节点必须确保一样
这个es服务叫啥,node-1
打开服务
Host就是节点的ip地址 如果本地改成127.0.0.1
端口自己设默认9200
多节点jian3数据传输
加上
Transport.tcp.port: 9300
http.cors.enabled: true
http.cors.allow-orgin: “*”
开头小写,中间有空格
Seed 就是发现节点找到节点 host1写成 “ip(单机127.0.0.1):9300”
Master 设置节点哪几个主节点 node-? 写ip(单机127.0.0.1):9300
上面每个都要设置啊才能确保运行的一致性。
先看看es状态
http://127.0.0.1:9200/_cat/health
Green就好
KIBANA配置
先改成中文吧,好看
变ui了好看????
点开下面的展开
这里是可视化的结果,可以看到确实做了一部分的统计,但是太少了。
主要在这里创建mapping
PUT /intrain
{
“settings”: {
“number_of_shards”: 1,
“number_of_replicas”: 0
},
“mappings”: {
“properties”: {
“id”:{“type”: “integer”} ,
“content”:{“type”:“text”,“analyzer”: “standard”},
“comment_time”:{“type”: “date”,“format”: “yyyy-MM-dd HH:mm:ss”},
“comment”:{“type”:“text”,“analyzer”: “standard”}
}
}
}
创建完后就可以再索引管理看到了
先调到logstash配置做完后
创建索引
搜索特朗普
配置完毕直接调python接口就行了
Logstash配置
创建配置文件
在这里我说一下我为什么用到了7.6.2
因为7.7存放路径有迅雷下载中文报错了又不方便移动用7.6.2处理
Conf文件
用下面命令运行
Csv和mogodb导入文件另说,在这里不再讨论