摘要:在kettle6.0中连接读写hadoop和hbase与之前版本方法不同,故记录一下使用方法。

环境准备:

windows kettle6.0
jdk1.7
hadoop 2.6.5
hbase 1.2.6

配置

首先配置hadoop的连接插件
打开

工具->hadoop distribute

原生hadoop选择CDH5.4
kettle6.0 hadoop hbase交互记录

接下来新建一个hadoop连接配置,username和password可以忽略,我们只需要连接到hdfs即可。配置完后进行test,如图几个关键项通过即可。
kettle6.0 hadoop hbase交互记录
kettle6.0 hadoop hbase交互记录
kettle6.0 hadoop hbase交互记录

读写操作

hdfs Hadoop file input

在左侧transform树中,找到big data(大数据)一栏,将输入“hadoop file
input”拖入操作板中,再设置一个输出目的,这里我选择输出到本地txt文件中。

kettle6.0 hadoop hbase交互记录

双击点开hadoop file input,配置输入文件,这边我随意选择了一个配置文件

kettle6.0 hadoop hbase交互记录

接下来配置数据处理方式,
这边需要配置输出字段这个sheet,不然你啥也别想得到╮(╯▽╰)╭

kettle6.0 hadoop hbase交互记录

kettle6.0 hadoop hbase交互记录

输出

kettle6.0 hadoop hbase交互记录

Hadoop file output(mysql读取)

mysql的配置以及读入读出前面《kettle6.0基础功能实战》中都有介绍,配置mysql连接,再使用表输入即可这里就不多说了。

kettle6.0 hadoop hbase交互记录

kettle6.0 hadoop hbase交互记录

kettle6.0 hadoop hbase交互记录

写入hdfs要注意一下目录权限问题

kettle6.0 hadoop hbase交互记录

配置完成后执行

kettle6.0 hadoop hbase交互记录

kettle6.0 hadoop hbase交互记录

Hbase读入

kettle6.0 hadoop hbase交互记录

1、选择cluster以及hbase文件
2、配置mapping
选择一张表,并为其命名一个mapping,然后配置相关字段
3、选择mapping

kettle6.0 hadoop hbase交互记录

Hbase output

配置同input

Tips:
1、上一步骤输入的数据必须要出现在写入mapping里,否则会报Cant find incoming错误,如果不需要写入上一步骤全部字段,可以用过滤。
2、famliy必须先创建,columns可以不用

kettle6.0 hadoop hbase交互记录

kettle6.0 hadoop hbase交互记录

总览

kettle6.0 hadoop hbase交互记录

相关文章: