前言
需求:
数据库存在一个信息表,每天都在记录信息,数据量大,每天创建一张表存储。
表名每天都在变,需要从当天的表拿到信息同步到指定数据库。
预定格式:
yyyyMMdd_tableName( 20200202_abcd )
本次测试环境:
| 系统 | Windows10 |
| 软件版本 | kettle 7.1.0.0-12 |
| MySQL驱动 | mysql-connector-java-8.0.19.jar |
动态表名查询数据
- 第一个转换设置表名为变量
- 第二关转换拿到变量带入sql查询出数据
一、获取表名
实现步骤如下:
- 新建一个转换getTableName,拖入
获取系统信息,字段选择,设置变量
-
打开
获取系统信息编辑界面,填写名称,点击类型选择要获取的信息类型 -
打开
字段选择,选择元数据,设置字段属性 -
打开
设置变量,填写相关信息,也可以点击获取字段自动填写字段信息
表名转换到此结束。
二、根据表名更新数据
实现步骤如下:
- 新建一个转换autoQuery,拖入
表输入,插入/更新 - 表操作需要连接数据库,本次Kettle使用8.x 版本的 MySQL驱动
-
打开
表输入,选择数据库,填写sql语句,使用之前设置的${TODAY}变量,替换SQL语句里的变量勾选上,否则变量无法生效 -
打开
插入/更新,指定目标表,填写查询关键字,填写更新字段
根据表名更新数据转换到此结束。
三、作业执行转换
- 新建一个作业autoTable,拖入
START,先调用获取表名转换,然后调用根据表名更新数据转换,最后拖入成功
设置如下:
-
拖入
START -
拖入转换,编辑
获取表名转换的作业项名称,选择要执行的转换文件getTableName,其它默认 -
拖入转换,编辑
根据表名更新数据转换的作业项名称,选择要执行的转换文件autoQuery,其它默认 -
拖入
成功 -
作业保存,运行。
到此,动态表查询结束。