将大型（200 GB）Hbase 表加载到 RDD 中，而无需经过 Hbase 扫描

Question

我想将一个大型（200 GB）Hbase 表加载到 RDD 中，而不经过 Hbase 扫描，即将 HFile 直接读入 RDD。

如果您可以分享任何显示使用 HFileInputformat 的示例/示例代码（或带有示例的网页链接），那将是非常棒的，因为我发现这些代码指向 HFileInputformat 的源代码。

不确定 2012/2013 年此处提到的危险是否仍然适用 - http://qnalist.com/questions/155178/hfileinputformat-for-mapreduce

Answer 1

我发现这个是 0.94。 https://gist.github.com/ashwanthkumar/5133733

但危险依然存在。如果同时发生压缩或区域拆分，则会影响您的结果。