主流的OLAP技术

信息数据:从原始数据中转化出来的,能够真正为用户所理解并真实反映企业多维度特性的数据

OLAP的官方定义:使分析人员、管理人员或执行人员能够从多种角度对信息数据进行快速、一致、交互存取,以获得对数据更深入了解的一类软件技术

OLAP的优点:充分降低数据分析的使用门槛,大大降低数据挖掘的成本

主流的OLAP技术

主流的OLAP技术

Druid:PB级别大数据的实时数据分析(快速查询、水平扩展、实时分析)

主流的OLAP技术

应用场景:点击流分析,风险/欺诈分析,网络性能监控,服务器指标存储,供应链分析,应用程序性能指标,商业智能/OLAP

在实际使用中Druid可用于用户互动行为的实时数据查询和监控

Presto是2013年开源的高性能分布式SQL查询引擎为解决海量日志数据的分析而被开发

Presto设计架构:master-slave架构,既主从架构

主流的OLAP技术

主流的OLAP技术

主流的OLAP技术

Presto适应场景:满足数据分析师临时查询需求,支持PB级别查询需求,但不适合大表之间join操作的场景

presto主要是解决SQL查询引擎的问题,presto直接访问HDFS或者其他数据存储层,无法将原始数据进行预计算后建立索引并存储,同时它保留数据全部的数据信息,可以支持所有数据的行粒度信息查询

ClickHouse:采用Local attached storage作为存储使得整个数据I/O从根本上被消除

主流的OLAP技术

转存中…(img-qmxAssWU-1603153571400)]

主流的OLAP技术

相关文章: