废话不多说,直接上代码—————————————————————————————————————

因为默认是一个分区,就只有一个reduce过程,写入比较慢。

所以先进行分区设定。

先建表,创建100个分区。

MapReduce读取hive数据,然后用hbase的bulkload方法导入hbase中

MapReduce读取hive数据,然后用hbase的bulkload方法导入hbase中

 

 

Driver类: 

MapReduce读取hive数据,然后用hbase的bulkload方法导入hbase中

HiveMapper类:

MapReduce读取hive数据,然后用hbase的bulkload方法导入hbase中 打包,测试:

MapReduce读取hive数据,然后用hbase的bulkload方法导入hbase中

 结果查看:

MapReduce读取hive数据,然后用hbase的bulkload方法导入hbase中

进行bulkload操作————HFile2HBase类: MapReduce读取hive数据,然后用hbase的bulkload方法导入hbase中

 结果查看:

MapReduce读取hive数据,然后用hbase的bulkload方法导入hbase中

文件有点碎了,分区100个有点多。

下面进行导入操作:

MapReduce读取hive数据,然后用hbase的bulkload方法导入hbase中

过程很慢,最终报错了:

MapReduce读取hive数据,然后用hbase的bulkload方法导入hbase中

原因:是因为要load的文件没有权限。导致load不成功!

解决:赋权(注意:从最外层文件夹到最里层都赋权!)

MapReduce读取hive数据,然后用hbase的bulkload方法导入hbase中

再次执行load操作,

MapReduce读取hive数据,然后用hbase的bulkload方法导入hbase中

查看操作结果:数据已经全部载入到hbase中的表msmp_ns:test555中 

MapReduce读取hive数据,然后用hbase的bulkload方法导入hbase中

HBase三种写入方式对比:

MapReduce读取hive数据,然后用hbase的bulkload方法导入hbase中

相关文章:

  • 2022-12-23
  • 2022-01-10
  • 2022-12-23
  • 2022-12-23
  • 2021-12-08
  • 2022-12-23
  • 2021-10-23
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2021-07-16
  • 2022-12-23
  • 2021-12-04
  • 2022-12-23
相关资源
相似解决方案