直接上图
本地搭建mysql数据库
tb——记录状态信息，增量数据更新时间，error记录数据报错时间，status字段用于判断是否处于更新状态
test1——原始数据
test2——TEST1数据经清洗后入test2
test3——test2表选取字段，做插入更新操作 （此处做FRM模型（后续连python，计算FRM分值，或聚类分析），对TEST2表做了操作，更新到表test3，RFM模型的字段则直接在test3中获取）
kettle作业流程（设置10秒更新，kettle设置状态发图有点多，需要的私聊）
配置完所有状态后，开启kettle的作业
test1中手动插入一条数据，在test3中自动更新
在powbi中图表更新了（也可用于tableau）
希望认识更多数据分析师的朋友，一起交流业务和技术
不是常在线，有事可以加微信：abacabc_1