Data Lake中,Hortonworks充分扩展了YARN作为数据处理系统的能力,将应用打包,然后根据需要启动程序。工作核心从平台管理转移到业务能力上,如下图所示

DataLake in Hortonworks

2.x中,YARNHadoop的核心资源管理平台,核心概念是Application,ContainersResources等。Container是虚拟执行环境,由一系列的进程和任务组成,应用程序由Container集合来执行,每个Container执行一个Task。随着平台的成熟,用户逐渐关注业务应用层,简化应用的部署、扩展,提供服务发现、管理能力,将多种应用Assemble成一个整体进行管理,如下图:

DataLake in Hortonworks

上述是Hortonworks针对Data LakeYARN中做的能力扩展,针对整个Data Lake的构建,以数据为核心提供了完善的数据获取、管理和使用的机制,如下图所示:

DataLake in Hortonworks

用户可以通过系统界面或者Server将数据上传到HDFS上,然后使用自己的系统或者结合其他工具对这些数据进行分析。


相关文章:

  • 2021-04-18
  • 2021-12-19
  • 2021-10-27
  • 2021-09-26
  • 2021-04-27
  • 2022-01-08
  • 2021-05-23
  • 2021-09-12
猜你喜欢
  • 2021-10-27
  • 2021-07-05
  • 2021-04-19
  • 2021-08-31
  • 2022-01-05
  • 2022-12-23
  • 2021-05-06
相关资源
相似解决方案