大数据项目之mysql作为数据源

大数据项目之mysql作为数据源

 

1.方式一：主要使用canal监控binlog

2.方式二：使用max-well   参考：https://blog.csdn.net/qq_26719997/article/details/105199248

3.方式三：使用flume

注意：对于mysql的监控考虑使用全量拉取和增量拉取。

通用架构设计

 

数据同步-解决方案

 

其中增量数据拉取可以采用flume直接监控。