hdfs - 爱码网

hdfs集群的扩容和缩容

目录 1、背景 2、集群黑白名单 3、准备一台新的机器并配置好hadoop环境 3.1 我们现有的集群规划 3.2 准备一台新的机器 3.2.1 查看新机器的ip 3.2.2 修改主机名和host映射 3.2.3 配置时间同步 3.2.4 关闭防火墙 3.2.5 新建hadoop部署用户 3. »

云上大数据存储：探究 JuiceFS 与 HDFS 的异同

HDFS 作为 Hadoop 提供存储组件，已经成为大数据生态里面数据存储最常用的选择，通常在机房环境部署。 JuiceFS 是一个基于对象存储的分布式文件系统，用户可以在云上快速地搭建按需扩容的弹性文件系统。如果企业正在考虑在云上构建大数据平台，了解这两种产品的差异和优缺点，可以为企业迁移或切换 »

云上大数据存储：探究 JuiceFS 与 HDFS 的异同

HDFS 作为 Hadoop 提供存储组件，已经成为大数据生态里面数据存储最常用的选择，通常在机房环境部署。 JuiceFS 是一个基于对象存储的分布式文件系统，用户可以在云上快速地搭建按需扩容的弹性文件系统。如果企业正在考虑在云上构建大数据平台，了解这两种产品的差异和优缺点，可以为企业迁移或切换 »

官方详解HDFS Balancer工具主要调优参数

目录引言使用HDFS Balancer 方式一：使用HDFS Balancer命令方式二：使用start-balancer.sh工具 Balancer调优参数常见问题引言 HDFS Balancer工具可以用来分析块的分布情况，并且可以重新分配DataNode中的数据 »

官方详解HDFS Balancer工具主要调优参数

目录引言使用HDFS Balancer 方式一：使用HDFS Balancer命令方式二：使用start-balancer.sh工具 Balancer调优参数常见问题引言 HDFS Balancer工具可以用来分析块的分布情况，并且可以重新分配DataNode中的数据 »

HDFS Balancer负载均衡器及语法详解

目录 1、背景 2、什么是平衡 2.1 每个DataNode的利用率计算 2.2 集群的利用率 2.3 平衡 3、hdfs balancer语法 4、运行一个简单的balance案例 4.1 设置平衡数据传输带宽 4.2 执行banalce 5、参考文档 1、背景当我们的 »

HDFS Balancer负载均衡器及语法详解

目录 1、背景 2、什么是平衡 2.1 每个DataNode的利用率计算 2.2 集群的利用率 2.3 平衡 3、hdfs balancer语法 4、运行一个简单的balance案例 4.1 设置平衡数据传输带宽 4.2 执行banalce 5、参考文档 1、背景当我们的 »

解决hadoop启动报错ERROR: Attempting to operate on hdfs namenode as root的方法

hadoop-3.1.0启动hadoop集群时还有可能可能会报如下错误: [root@localhost sbin]# start-all.shStarting namenodes on [hadoop]ERROR: Attempting to operate on hdfs namenode a »

hdfs的异构存储

在我们实际的开发过程中，我们的某些数据可能经常使用，但是过了一段时间，这个数据就不怎么使用了，即我们的数据存在一个`热`、`温`、`冷`等这些特性。那么针对`数据的热度`，我们可以采用不同的策略，存储到不同的存储介质上。目录 1 背景 2 hdfs异构存储类型和存储策略 2.1 »

hdfs的异构存储

在我们实际的开发过程中，我们的某些数据可能经常使用，但是过了一段时间，这个数据就不怎么使用了，即我们的数据存在一个`热`、`温`、`冷`等这些特性。那么针对`数据的热度`，我们可以采用不同的策略，存储到不同的存储介质上。目录 1 背景 2 hdfs异构存储类型和存储策略 2.1 »

HDFS数据读写流程

HDFS 写入数据流程宏观流程 No 步骤详情 1 客户端向HDFS发送写数据请求 hdfs dfs -put tomcat.tar.gz /bdg/ 2 filesystem通过rpc调用namenode的create方法 nn首先检查是否有足够的空间权限等条件创建这个文件,或 »

在 Ubuntu 22 的基础上进行 Hadoop 伪分布式（HDFS）的搭建

一、使用VMware安装Ubuntu虚拟机在Linux系统各个发行版中，Ubuntu系统在服务端和桌面端使用占比最高，网络上资料最是齐全，所以这里使用Ubuntu LTS。整体的系统安装文件较大(&gt;1G)，这里采用了迅雷加速下载。迅雷下载地址：下载迅雷工具下载地址：Download U »

mac系统上hdfs java api的简单使用

目录 1、背景 2、环境准备 3、环境搭建 3.1 引入jar包 3.2 引入log4j.properties配置文件 3.3 初始化Hadoop Api 4、java api操作 4.1 创建目录 4.2 上传文件 4.3 列出目录下有哪些文件 4.4 下载文件 4.5 删除文件 4.6 »

Java API操作HDFS方法详细讲解

目录一、判断Path指向目录还是文件二、删除目录或文件 1、删除文件 2、删除目录 3、删除目录或文件一、判断Path指向目录还是文件在net.xxr.hdfs包里创建PathToFileOrDir类 package net.xxr.hdfs; import org.a »