cloudframeworks

跟硅谷大数据工程师谈笑风声?Spark、Storm、Pig、Hive……还是Hadoop?大数据技术前沿公司会告诉你——SMACK is the new buzzword!SMACK并非单一技术,而是由Spark、Mesos、Akka、Cassandra、Kafka组成的大数据架构,适用于广泛的数据处理场景,可完成低延迟扩展及数据复制、统一管理异构负载集群,并通过单一平台满足不同架构设计和不同应用的需求。(A Brief History of the SMACK Stack

在面对数据源数量急剧增加、数据样本获取难度升高、数据分析时效性差、数据分析投资回报率低等一系列挑战时,SMACK可以解决Hadoop等熟知技术无法解决的诸多问题,特别是物联网化、API化趋势下big data向fast data转变所带来的新需求,以及大数据处理对于Data Pipeline的依赖。

我们可以把SMACK看作是一种框架组合思想,其中技术可以增加或被更适合的技术替代,以便我们更好的完成大数据处理。本篇云框架即在引擎层增加了Flink用于处理实时数据,使用Kubernetes替换Mesos作为容器层,以某网站数据为例,提供SMACK大数据框架的最佳实践,包括SMACK、数据接入、数据展示在内的完整框架。

 

Github地址:https://github.com/cloudframeworks-smack/user-guide-smack

分类:

技术点:

相关文章:

  • 2021-12-26
  • 2021-09-30
  • 2018-07-20
  • 2021-12-28
  • 2022-12-23
  • 2021-12-07
  • 2021-12-05
  • 2022-01-13
猜你喜欢
  • 2021-09-24
  • 2021-11-28
  • 2022-02-07
  • 2021-08-31
  • 2021-11-03
  • 2021-11-17
相关资源
相似解决方案