presto对orc文件和parquet文件的读取都进行了优化,那么本篇文章来分析一下都做了哪些优化
1- orc文件格式概述
每个orc文件都有一个文件footer,文件footer里存储了每个条带(script)的最大值最小值,可以用来过滤script。每个条带又有条带footer,具体作用未知。每个条带内部存储了行组的列存形式。
2- 读取流程
读取流程涉及以下几个读取器的构造:
HiveSplit->
Hive中split的构造。hive connector在构造split时,并不像上篇这个博客提到的,在一个bliock中会有很多script,然后根据过滤条件选择script,然后再构造split。而是再构造split时,直接使用一个block构造出一个split,这个split中包含了过滤条件,然后再扫描数据的时候,使用过滤条件。PageSource->
Presto源码结构,用于返回一个Page。- HivePageSourceProvider->
用于提供Hive Page数据的类。 - OrcPageSourceFactory->
用于提供ORC格式文件Page的类。 - OrcRecordReader->
用于读取Orc文件记录的reader。 - StreamReader[]
用于读取Orc内部多个字段的reader集合。
2-1 构造orc data source
构造orc data source:
2-2 构造orc data reader
2-3 构造stripe reader
footer读取并解析(这里的footer时文件的footer,如下图所示),根据这个footer就可以得到这个文件有多少个script,以及每个script的统计信息,用这些统计信息就可以过滤script。