数据仓库的其中一个作用是保存公司完整的业务或其他数据,在RDB如mysql/Oracle中,数据太多可以进行归档,但数仓不可以.这就导致了数仓中的磁盘占用率越来越高,终归有一天,磁盘不足,那给CDH集群增加磁盘就不能避免.
以下是我实际工作中一次增加磁盘的记录.分享出来希望可以帮到有缘人.
分为以下三个部分描述
1-磁盘热插拔的注意事项
2-具体操作步骤
3-增加磁盘后的效果
注意事项
- 热插拔只能添加具有空数据目录的磁盘。
- 卸下磁盘不会将数据移出磁盘，这可能会导致数据丢失。
- 不要同时在多个主机上执行热交换。
- 每次更改单独机器的HDFS配置信息,不要更改角色组的信息,即便是统一每台机器都增加同样数量的磁盘且磁盘mount路径都相同
因此次我们是操作增加磁盘,所以注意事项第二条可以忽略掉.
操作步骤
准备阶段:
准备阶段主要是磁盘硬件添加和挂载,这些工作都是IT部门同事帮忙做的,最终给一台机器增加10块磁盘,分别挂载在/u06和/u07 ..../u15目录下.
a-登录CDH主界面,点击HDFS角色
b-点击"实例"选项卡
此时我们可以看到所有DataNode节点的列表,选择要添加磁盘的机器,点击它对应的DATA NODE
点进去后,我们看到的就是这台机器单独的界面,点击配置.
绿色框部分为该机器现有的磁盘挂载目录.只需要点击加号按钮添加磁盘路径即可.添加后截图如下
更改完毕,点击保存更改.此时DN处于使用过期配置的情况,更新配置界面如下
勾选上这两个选项,只重新启动单台DN,对集群影响降低到最小.不会影响正在运行的各种服务.重启过程如下
增加后的效果
重启后,在CDH界面查看该机器信息,发现磁盘容量从4T+变为了25T+,此时登录服务器导磁盘挂载目录下,发现创建好了对应的dfs数据文件夹.
扩容完成.其他应用没有受到影响
以上,为CDH机器增加磁盘的过程,请注意,不要一次性操作多台机器.感谢耐心阅读.