presto对orc文件和parquet文件的读取都进行了优化,那么本篇文章来分析一下都做了哪些优化

1- orc文件格式概述

presto对orc文件的读取

每个orc文件都有一个文件footer,文件footer里存储了每个条带(script)的最大值最小值,可以用来过滤script。每个条带又有条带footer,具体作用未知。每个条带内部存储了行组的列存形式。

2- 读取流程

读取流程涉及以下几个读取器的构造:

  • HiveSplit->
    Hive中split的构造。hive connector在构造split时,并不像上篇这个博客提到的,在一个bliock中会有很多script,然后根据过滤条件选择script,然后再构造split。而是再构造split时,直接使用一个block构造出一个split,这个split中包含了过滤条件,然后再扫描数据的时候,使用过滤条件。

  • PageSource->
    Presto源码结构,用于返回一个Page。

  • HivePageSourceProvider->
    用于提供Hive Page数据的类。
  • OrcPageSourceFactory->
    用于提供ORC格式文件Page的类。
  • OrcRecordReader->
    用于读取Orc文件记录的reader。
  • StreamReader[]
    用于读取Orc内部多个字段的reader集合。

2-1 构造orc data source

构造orc data source:

2-2 构造orc data reader

2-3 构造stripe reader

footer读取并解析(这里的footer时文件的footer,如下图所示),根据这个footer就可以得到这个文件有多少个script,以及每个script的统计信息,用这些统计信息就可以过滤script。

相关文章: