dajiangtai

 

本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习课程:

 

Flink大数据项目实战:http://t.cn/EJtKhaz

流处理的几个流派

在流式计算领域,同一套系统需要同时兼具容错和高性能其实非常难,同时它也是衡量和选择一个系统的标准。

 

4.2Flink VS Spark 之 API

Spark与Flink API pk如下所示:

 

 

Spark与Flink 对开发语言的支持如下所示:

 

1.3   Flink VS Spark 之 Connectors

Spark 支持的Connectors如下所示:

 

 

Flink支持的Connectors如下所示:

 

 

从Flink和Spark Connectors对比可以看出,Spark与Flink支持的Connectors的数量差不多,目前来说可能Spark支持更多一些,Flink后续的支持也会逐步的完善。

1.4   Flink VS Spark 之 运行环境

Spark 与Flink所支持的运行环境基本差不多,都比较广泛。

 

1.5   Flink VS Spark 之 社区

Spark 社区在规模和活跃程度上都是领先的,毕竟多了几年发展时间,同时背后的商业公司Databricks由于本土优势使得Spark在美国的影响力明显优于Flink

 

而且作为一个德国公司,Data Artisans 想在美国扩大影响力要更难一些。不过 Flink 社区也有一批稳定的支持者,达到了可持续发展的规模。

 

在中国情况可能会不一样一些。比起美国公司,中国公司做事情速度更快,更愿意尝试新技术。中国的一些创新场景也对实时性有更高的需求。这些都对 Flink 更友好一些。

 

近期 Flink 的中国社区有一系列动作,是了解 Flink 的好机会。

Flink 的中文社区在 :http://flink-china.org/

另外,2018 年 12 月 20 日 -21 日在国家会议中心举办的首届 Flink Forward China 峰会(千人规模),参与者将有机会了解阿里巴巴、腾讯、华为、滴滴、美团、字节跳动等公司为何将 Flink 作为首选的流处理引擎。

4.6总结

Spark 和 Flink 都是通用的开源大规模处理引擎,目标是在一个系统中支持所有的数据处理以带来效能的提升。两者都有相对比较成熟的生态系统。是下一代大数据引擎最有力的竞争者。

Spark 的生态总体更完善一些,在机器学习的集成和易用性上暂时领先。 

Flink 在流计算上有明显优势,核心架构和模型也更透彻和灵活一些。

在易用性方面两者也都还有一些地方有较大的改进空间。接下来谁能尽快补上短板发挥强项就有更多的机会。

总而言之,Flink与Spark没有谁强谁弱,只有哪个更适合当前的场景。

 

 

分类:

技术点:

相关文章:

  • 2021-07-07
  • 2021-07-14
  • 2021-07-14
  • 2021-10-30
  • 2021-08-05
  • 2022-02-06
  • 2022-02-28
  • 2021-10-01
猜你喜欢
  • 2021-10-24
  • 2021-06-26
  • 2021-09-17
  • 2021-10-24
  • 2022-01-04
  • 2021-05-30
相关资源
相似解决方案