云计算上课笔记（三）

Hadoop

HDFS

MapReduce

  • Hadoop节点
    1.NameNode:管家，协调集群数据存储
  1. DataNode：存储数据块
  2. JobTracker:协调计算任务
  3. TaskTracker：执行JobTracker指派的任务
  4. SecondaryNameNode：帮助NameNode收集文件系统运行的状态信息

NameNode:

  • FsImage:存放文件树，文件、文件夹元数据
  • EditLog：记录对文件的操作；
    操作顺序：
    FsImage—>内存---->执行EditLog
    问题：EditLog很大时，需要等待时间很久，影响用户使用
    解决方案：SecondaryNameNode（秘书）

工作图示：
云计算上课笔记（三）

DataNode

  • 保存数据在本地Linux File System

相关文章：

猜你喜欢
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode