- 前言
我们设想有一个场景，需要从把数据从mysql写入到hive中，这样大家就可以用到这篇文章的内容，话不多说直接看下面的操作。
- 业务流程图
- 创建一个作业把流程配置好
- 创建mysql表及其数据
- 创建一个转换进行数据处理及写入
根据业务需求来写需要的业务
获取mysql的表的数据
字段选择
按照需求设置，这里我们的需求需要设置日期的格式
Parquet output（写入到hdfs）
数据格式需要改为UTF8，这里的字段顺序与字段类型需要跟即将创建的hive表的字段顺序一模一样
压缩格式改为Snappy
- 编写修复分区
因为我们是直接把数据写入到hive的数据文件夹下，所以需要修复分区
- 在Hive中创建表
- 执行作业