一 首先我们看一下Key Value 是怎么在HFile上存储的

HBase之KeyValueScanner

其中Key Length =Key的基础大小+Row Key Length+ Column Family

Length + Qualifier Length

 

Key的基础大小 = 存储rowkey length的大小 + 存储column family

Length的大小 + 存储TimeStamp的大小 + 存储Key类型的大小

= 2 + 1 + 8 + 1 = 12

 

二 各种类型的Scanner介绍

HBase之KeyValueScanner

2.1 InternalScanner 和 KeyValueScanner区别

InternalScanner:我们可以获取一个KeyValue的List,KeyValueScanner

是一个可以向外迭出KeyValue的一个scanner,只能获取一个KeyValue

RegionScanner,StoreScanner,KeyValueHeap实现了InternalScanner

StoreScanner,MemStoreScanner,StoreFileScanner实现了KeyValueSca

Nner

 

2.2 如何组织一组相似或者相同的Scanner

一个RegionScanner是由一组StoreScanner组成的,一个StoreScanner是由一个MemStoreScanner和多个StoreFileScanner组成的,所有的scanners通过KeyValueHeap进行merge

HBase之KeyValueScanner

成员变量heap: 是一个优先级队列,用来存储child scanners

 

2.3 如何从一个scanner转化为其他的scanner

HBase之KeyValueScanner

优先级队列:

每一次从队列里选举一个scanner,使用之后又放回去,如果peek出来的next keyvalue是null,则表示已经scan完毕。所以我们应该关掉它,不需要把它放回去。选举出哪一个由以下的Comparator来决定:

HBase之KeyValueScanner

Peek: 只是查看scanner下一个KeyValue,但是并不会迭代这个

Scanner。

一个StoreFileScanner切换到另外一个StoreFileScanner是很容易的,只要一个StoreFileScanner完成,并且关闭就可以切换到另一个StoreFileScanenr。

 

如何从StoreFile Scanner寻找一个给定KeyVaue?

This is the flow of seeking:

HBase之KeyValueScanner

Figure 10 How toseek a KeyValue

 

总结所有的scanner,并寻找他们的关系:


HBase之KeyValueScanner

KeyValueHeap: 这个类主要用于跨store或者跨storefile的merge工作,它是RegionScannerImpl和StoreScanner的成员变量。

RegionScannerImpl: 使用KeyValueHeap进行跨store的KeyValue的合并

StoreScanner: 使用KeyValueHeap进行memstore和storefile的合并

所以,我们也可以理解为KeyValueHeap是一个parent-level的scanner,它有一个或多个child-level的scanners,在这个类的实例化期间,它会加载所有的childscanner

 

KeyValueScanner:  它主要用于获取下一个KeyValue,同时他还可以不用遍历的情况下查看下一个KeyValue

 

InternalScanner: 它主要用于获取一些KeyValue(我们可以通过参数指定获取多少key value,默认是一行的所有的KeyValue

 

Scanner关闭流程如下:

 


HBase之KeyValueScanner

相关文章:

  • 2022-02-26
  • 2021-12-11
  • 2022-12-23
  • 2021-11-30
  • 2021-12-20
  • 2022-02-18
猜你喜欢
  • 2021-12-21
  • 2021-11-18
  • 2022-01-05
  • 2021-06-27
  • 2021-06-22
  • 2021-12-31
  • 2021-12-14
相关资源
相似解决方案