基于Flink实时数仓的完整链路

整理中

一，架构

 

二，整体流程

简单的举个案例：

mysql binlog -->canal --> kafka -->Flink ods -->Flink dwd -->doris 

中间有zeppelin可以提交Flink任务，执行脚本，查询doris结果

调度器：apache dolphinscheduler（国产）

三，过程

实时数仓就是Flink+kafka，doris的作用是去重存储，相同key聚合

四，后端开发

期望封装之后后端达到的效果（参考），都是平台填写参数，然后封装。