AWS上的Data Lake实现的功能如下

Ø 低成本的存储任何规模的所有类型数据

Ø 保护数据并防止其受到未经授权的访问

Ø 在一个集中式存储库对相关数据进行编目搜索和查找

Ø 轻松的执行新类型的数据分析

Ø 使用一系列分析引擎用于临时分析实时流式处理预测性分析人工智能和机器学习

数据库补充和扩展现有的数据仓库,如果正在使用数据仓库,可以将数据湖用作结构化数据和非结构化数据的来源。基于AWS构建的Data Lake框架如下图所示:

DataLake in AWS

使用Amazon S3作为Data Lake的数据存储系统,在S3中存储和计算解耦,并可以与所有的AWS analytic service结合使用。在Data Lake中主要的难点在于获取数据及解析数据的Schema和格式,AWS提供AWS Glue来从S3中解析业务逻辑中的数据,其自动的抓取S3数据、标识数据格式,然后为其他AWS提供数据的Schema,其提供的功能如下:

Ø Discover data with search

Ø Identify and parse files with classification

Ø Manage chaning schemas with versioning

AWS Glue作为Amazon S3 数据湖的主要组件,提供数据data catalog和数据分析中的数据转换,如下图所示:

DataLake in AWS


相关文章: