启动的进程:

namenode

socondarynamenode

datanode

ResourceManager(JobTracker)JobTracker

NodeManager(TaskTracker)

DFSZKFailoverController

JournalNode

作用:

a) NameNode它是hadoop中的主服务器,管理文件系统名称空间和对集群中存储的文件的访问,保存有 metadate.

b).SecondaryNameNode它不是namenode的冗余守护进程,而是提供周期检查点和清理任务。帮助NN合并editslog,减少NN启动时间。

c)DataNode它负责管理连接到节点的存储(一个集群中可以有多个节点)。每个存储数据的节点运行一个datanode守护进程。

d)ResourceManager(JobTracker)JobTracker负责调度DataNode上的工作。每个DataNode有一个TaskTracker,它们执行实际工作。

e) NodeManager(TaskTracker)执行任务

f) DFSZKFailoverController高可用时它负责监控NN的状态,并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利,因为最多只有两个节点,目前选择策略还比较简单(先到先得,轮换)。

g) JournalNode 高可用情况下存放namenode的editlog文件.

大数据开发面试部分:正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程,它们的作用分别是什么(大数据开发面试)

相关文章:

  • 2021-08-09
  • 2021-06-28
  • 2021-08-05
  • 2021-08-27
  • 2021-04-23
  • 2021-10-16
  • 2021-08-14
  • 2021-10-23
猜你喜欢
  • 2021-08-29
  • 2021-07-14
  • 2021-11-02
  • 2021-10-02
  • 2021-08-19
  • 2021-06-07
  • 2021-08-01
相关资源
相似解决方案