华为ROMA平台数据集成FDI配置问题记录
因为使用了华为的一套数据加工平台,需要将本地mysql数据库的数据同步到华为dayu平台做数据加工,首先将本地mysql的表数据通过ROMA平台同步到dws数据仓库。
1.在ROMA实例中编写数据集成FDI定时任务:
2.定时任务的配置:
有几个注意点:
1.第一次执行会将数据源表中create_time字段大于“时间戳初始值”的数据都同步过来,但是官方文档写的刚好和我实际执行的判断机制相反。
2.然后定时任务第二次执行就只会同步增量数据了,判断增量的数据规则是create_time大于上次定时任务执行的时间,官方文档定义的增量数据时间区间是如下图标注,与我实际执行的相反。
官方文档对于时间戳初始值的说明:
3.【重置迁移时间初始值】一定要打开,我理解的意思就是第一次执行定时任务时按上面的“时间戳初始值”来判断需要同步的数据(create_time > 时间戳初始值),不打开的话就没有数据被同步成功,具体机制不祥,文档也未对此属性加以说明。
华为文档:https://support.huaweicloud.com/bestpractice-roma/roma_05_0002.html
或者直接在华为云服务网站搜索“从MySQL获取数据并存储到OBS”关键字
以上是我多次实际测试的结果,为啥与华为文档有出入,暂时还不得知,华为文档也不够详细。