clickhouse应用说明

总结:

Clickhouse 
有点:支持insert、select,是mpp数据库,支持OLAP联机分析处理,支持主从复制/读写分离。
缺点:1.不支持null,不支持关联子查询。2.不支持事物。3.不支持Update/Delete操作。4.支持有限操作系统。


应用场景:
#可以应用以下场景:
1.电信行业用于存储数据和统计数据使用。
2.新浪微博用于用户行为数据记录和分析工作。
3.用于广告网络和RTB,电子商务的用户行为分析。
4.信息安全里面的日志分析。
5.检测和遥感信息的挖掘。
6.商业智能。
7.网络游戏以及物联网的数据处理和价值数据分析。
8.都是时候分析的数据分析场景,OLAP联机分析处理。

总结:ClickHouse 正是以不依赖Hadoop 生态、安装和维护简单、查询速度快、可以支持SQL等特点在大数据分析领域越走越远。

应用场景举例:
1.基于Flink+ClickHouse构建亿级电商实时数据分析平台(PC、移动、小程序)

整理如图:

clickhouse应用说明

 

 

 

开始

拉取repo源

curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash

 

yum安装

yum install clickhouse-server clickhouse-client -y

 clickhouse应用说明

 

 

启动server

service clickhouse-server start

clickhouse应用说明

 

客户端连接

clickhouse-client

clickhouse应用说明

 

 

clickhouse设置

 

clickhouse的server配置,在/etc/clickhouse-server/config.xml及user.xml,前者是clickhouse的系统配置,包括日志,服务部署ip,zk等配置。后者是当前节点服务的配置,包括用户名密码,内存大小限制等

 clickhouse应用说明

clickhouse应用说明

 

 

安装与运行问题

 

问题:

Include not found: clickhouse_remote_servers

Include not found: clickhouse_compression

Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Exception: Cannot set max size of core file to 1073741824, e.what() = Exception

解决:

没有开放core文件写入,使用命令: ulimit -c 1073741824, 开放即可。


问题:

<Error> Application: DNS error: EAI: -9

解决:

本机没有开放ipv6,只能对ipv4生效。可以考虑在config.xml中,把<listen_host>::</listen_host> 改成<listen_host>0.0.0.0</listen_host>


问题:

:Memory limit (for query) exceeded: would use 9.31 GiB (attempt to allocate chunk of 1048576 bytes), maximum: 9.31 GiB

解决:

修改user.xml里max_memory_usage 值,把他改大一些,默认是953M,不到1G,可以改到2G

 

 

相关文章: