Redshift是Amazon一个商业产品上的进化

但并不是技术的进化,他使用的无非都是传统数仓领域的技术

如果说创新,就是大量使用Amazon本身的云服务的云原生架构,大大提升的产品的迭代速度,可维护性,管控能力,当然前提是Amazon有那么好的基础设施可以用

Amazon Redshift and the Case for Simpler Data Warehouses

 

 

架构

Amazon Redshift and the Case for Simpler Data Warehouses

 

DataPlane

典型的Share Nothing的架构,没啥好说的

Amazon Redshift and the Case for Simpler Data Warehouses

 

 LeaderNode,会负责接收流量,生成执行计划分发到计算节点,然后聚合结果返回

Amazon Redshift and the Case for Simpler Data Warehouses

 

数据可以scaleout的分布在计算节点上,同时每个计算节点分成slices,便于资源分配,类似slot

每个slice的数据是以列存形式

Amazon Redshift and the Case for Simpler Data Warehouses

 

Slice由data blocks组成,datablock是数据和磁盘读写和交换的单元,

block会同步写入主备,两副本;同时block会被异步写入S3

Amazon Redshift and the Case for Simpler Data WarehousesAmazon Redshift and the Case for Simpler Data Warehouses

 

Control Plane

对于管控,Redshift基本就是用云原生的方式搭建,大大降低了产品的开发成本

Amazon Redshift and the Case for Simpler Data Warehouses

 

 

本论文在技术上,没有太多可说的,在产品的设计上倒是很有参考和借鉴的意义

 

相关文章:

  • 2022-02-19
  • 2021-09-30
  • 2021-09-03
  • 2021-08-26
  • 2021-07-17
  • 2022-12-23
  • 2021-08-10
猜你喜欢
  • 2022-02-07
  • 2022-01-30
  • 2021-06-22
  • 2022-01-07
  • 2021-12-23
  • 2022-01-28
  • 2021-05-12
相关资源
相似解决方案