Sqoop 数据导出
1、导出 HDFS 数据到 MySQL
注意:导出前,目标表必须存在于目标数据库中。
HDFS:hadoop distributed file system
RDBMS:Relation DataBase Manager System
OOP:orentied object programming
AOP:orentied aspect programming
默认操作是从将文件中的数据使用 INSERT 语句插入到表中 更新模式下,是生成 UPDATE 语句更新表数据
第三步,执行导出:
注意:如果导出数据到 mysql 出现乱码,那么请参考这个解决方案 https://my.oschina.net/u/559635/blog/498990
2、导出 HIVE 数据到 MySQL
3、导出 HBase 数据到 MySQL
很遗憾,现在还没有直接的命令将 HBase 的数据导出到 MySQL 一般采用如下 3 种方法:
1、将 Hbase 数据,扁平化成 HDFS 文件,然后再由 sqoop 导入
2、将 Hbase 数据导入 Hive 表中,然后再导入 mysql
3、直接使用 Hbase 的 Java API 读取表数据,直接向 mysql 导入,不需要使用 sqoop