Flink--实时流处理框架
上图是flink的工作流程
首先,flink从source中获取数据,source是流入flink数据的来源,日常对接的source端有kafka,rabbitMQ等消息队列
然后,获取到的数据流(dataStream) 按需来进行代码运算
最后,将上一步运算的结果数据sink到落地的模块中,模块可以是数据库,也可以是服务(用户预警报警模板)。


1、为何选择flink?
flink是流处理模式,数据会以流stream的形式在flink中存在并处理,source来源可以选择flume+kafka,这样,数据来源到了flink,就会流动起来处理,从而不需要考虑数据的储存(中间数据放到collection)以及取用逻辑(分页取数或者范围取数),实时性也比较高

相关文章:

  • 2021-06-19
  • 2021-10-19
  • 2021-07-19
  • 2021-06-02
  • 2021-12-03
  • 2021-09-22
  • 2021-07-21
  • 2021-08-12
猜你喜欢
  • 2021-06-06
  • 2021-11-29
  • 2021-07-10
  • 2021-10-15
  • 2021-05-27
  • 2021-11-04
  • 2021-08-14
相关资源
相似解决方案