原理

将源表和目标表的数据进行比对并添加记录标识,根据标识进行增量更新或删除

效果图

使用kettle实现增量更新

本示例所用的数据库为oracle数据库

第一,新建转换,拖入表输入,并定义名称

源表属性

使用kettle实现增量更新

目标表属性

使用kettle实现增量更新

第二,拖入两个排序记录,并自定义名称

说明,如果不加排序记录会导致合并记录组件里的比对数据有重复,如果想知道具体错误可自行尝试

源表数据排序

使用kettle实现增量更新

目标表数据排序

使用kettle实现增量更新

第三,拖入合并记录并自定义名称

合并记录属性

使用kettle实现增量更新

第四,拖入Switch/case组件,可自定义名称

Switch/case组件属性

使用kettle实现增量更新

第五,处理switch/case组件判断后的步骤

拖入两个空操作,做一下缓冲,再拖入表输出组件,更新组件,删除组件,并按照图中的方式进行连接

使用kettle实现增量更新

表输出目标表的属性

使用kettle实现增量更新

使用kettle实现增量更新更新属性

使用kettle实现增量更新

删除属性

使用kettle实现增量更新

第六,查看Switch / case组件属性,并定义目标步骤

使用kettle实现增量更新

完成,保存运行

本人测试处理一百万的数据大约需要一分钟的时间

若有问题,可在下方评论,联系博主

相关文章: