hue上使用oozie调度sqoop import mysql数据到hive

近期实践CDH大数据平台的搭建使用，CDH搭建结束后，尝试使用oozie调度从mysql导出数据到hive表中。

 

 

1.CDH 搭建

　　

 

 

 资源需求如上，由于目前CDH新版本收费，我们选择使用CDH 6.3.2版本，自己网上找资源。

安装的所有组件：

 

 

 

 2.因为用sqoop从mysql导入数据，需要先配置jdbc-mysql驱动

我的mysql版本是mysql 5.7.26，对应使用mysql-connector-java-8.0.26.jar

将mysql-connector-java-8.0.26.jar拷贝到 CDH所有节点的/var/lib/sqoop/下（我的CDH集群是三台机器）

另外，在mysql中创建表，创建测试数据

create table user(
id int(10) primary key not null auto_increment,
name varchar(20) not null,
age int(10) not null
) ENGINE=InnoDB DEFAULT CHARSET=UTF8;

View Code