参考链接:

https://www.cnblogs.com/momoyan/p/9614635.html

https://blog.csdn.net/weixin_38441544/article/details/82853651

http://www.zhyea.com/2018/07/12/druid-historical-broker-boot-failed.html

 

参考课程:

https://www.imooc.com/video/20024     慕课网

 

Druid支持对海量数据聚合存储,聚合查询

【基础组件18】Apache Druid  0.14入门(一)简介、集群部署、使用kafka 构建实时数据摄取

 

 

一、OLTP(数据操作)和OLAP(数据分析)系统的区别

Druid主要用于OLAP 数据分析,提供决策,仅支持查询

MySQL主要用于OLTP 数据操作,支持数据的增删查改,实时修改,支持事务

【基础组件18】Apache Druid  0.14入门(一)简介、集群部署、使用kafka 构建实时数据摄取

 

 

二、druid的应用场景

【基础组件18】Apache Druid  0.14入门(一)简介、集群部署、使用kafka 构建实时数据摄取

 

 

 

 

三、druid基本特点

【基础组件18】Apache Druid  0.14入门(一)简介、集群部署、使用kafka 构建实时数据摄取

 

 

四、OLAP系统方案对比

【基础组件18】Apache Druid  0.14入门(一)简介、集群部署、使用kafka 构建实时数据摄取

 

 

五、druid的架构

参考课程:https://www.imooc.com/video/19660

metadata 元数据,存在mysql中

deep storage , 存在hdfs中

【基础组件18】Apache Druid  0.14入门(一)简介、集群部署、使用kafka 构建实时数据摄取

 

 

 六、datasource, chunk, segment  druid的数据结构

【基础组件18】Apache Druid  0.14入门(一)简介、集群部署、使用kafka 构建实时数据摄取

 

 

七、druid集群部署

1.官网下载安装包

https://druid.apache.org/downloads.html

2.参考教程:https://www.imooc.com/video/19661

 

八、druid 数据摄取配置

overlord节点:发布任务

middlemanager节点:生产数据

historical节点:加载数据

broker节点:接收客户端的查询请求

【基础组件18】Apache Druid  0.14入门(一)简介、集群部署、使用kafka 构建实时数据摄取

 

 【基础组件18】Apache Druid  0.14入门(一)简介、集群部署、使用kafka 构建实时数据摄取

 

 

九、Apache Druid 使用HDFS 构建离线数据摄取

需要从 mapreduce中摄取数据

此外 hdfs也可以作为druid的深度存储

 

十、Apache Druid 使用Kafka 构建实时数据摄取

1.kafka简介

consumer     消费者

consumer group   消费者组:不同的消费者组,互不影响,A组消费了topic 111的消息后,B组也可以去消费topic 111的消息

                                                同一个消费者组里的消费者,有影响,若消费者数小于或者等于partition数,则一个消费者消费一个或者多个partition

                                                                                                             若消费者数大于partition数,则有消费者消费不了消息,没有消息消费

                                                 就是同一个消费者组的消费者,会消费不同partition的消息,消费了就没了,不能重复消费

topic      不同类型的消息

partiton 分区,为了提高并行度

              某些topic的消息多,就可以多设置几个partition, 提高并行度,

                                 消息少,则可少设置几个partition

cosumer_offset  偏移量 消费了就会把偏移量返回给broker

 

2. kafka配置参考:https://www.imooc.com/video/19665

【基础组件18】Apache Druid  0.14入门(一)简介、集群部署、使用kafka 构建实时数据摄取

 

 

3.使用kafka 构建实时数据摄取

参考:https://www.imooc.com/video/19666

 

相关文章:

  • 2022-01-24
  • 2021-06-24
  • 2022-02-25
  • 2021-07-02
  • 2022-01-01
  • 2021-07-05
猜你喜欢
  • 2021-08-17
  • 2021-04-24
  • 2022-12-23
  • 2022-12-23
  • 2021-04-09
  • 2022-12-23
  • 2021-09-17
相关资源
相似解决方案