1.kettle关于增量同步的方法网上也有很多,本人也是刚入门使用了比较简单的一种,通过设置变量实现简单的增量同步

2.源表结构,必须要有主键

使用kettle一次简单的增量同步

3.主程序

使用kettle一次简单的增量同步

转换set_var

使用kettle一次简单的增量同步

获取目标表当前id最大值,存入变量中

使用kettle一次简单的增量同步


使用kettle一次简单的增量同步

trans转换

使用kettle一次简单的增量同步

通过sql条件查询,获取更新的内容,再更新到目标表中

使用kettle一次简单的增量同步

4.运行主程序

使用kettle一次简单的增量同步

这种方式本质来说是通过sql条件查询,比较目标表和源表中不同的字段值,通过设置变量在源表中获取变化的数据,再通过插入更新到目标表中。对于实时同步可以通过计划任务设置执行周期,根据业务的要求不同程度设置时间周期

相关文章: