配置集群客户端

为什么要配置集群客户端:
不建议集群内操作,如果每一次上传文件都是选择某一台DN作为客户端, 就会导致这个节点_上的磁盘以及网络I0负载超过其他的节点,久而久之这个节点的磁盘以及网卡性能远远低于其他节点,从而会导致数据的倾斜问题。
所以,一般要集群外操作,配置集群的客户端。
配置集群客户端的步骤:
1、找一台新的虚拟机、服务器,这台服务器必须能够与集群通信
2、将配置好的jkd和hadoop安装包原封不动的拷贝到新的服务器
配置步骤参考:https://mp.csdn.net/postedit/83003119
3、配置环境变量 方便操作HDFS集群
修改 .bashrc文件
4、在客户端正常操作HDFS集群就可以了

eclipse视图下操作HDFS

在搭建好HDFS完全分布式或高可用性HDFS完全分布式后。
(若未部署参考:https://mp.csdn.net/postedit/83003119)
具体步骤:
1. 在eclipse中配置hadoop插件
去官网下载相关jar包
配置集群客户端和eclips
找到eclipse安装目录
配置集群客户端和eclips
将下载的jar放入以下目录中(如果没有则自行创建)

配置集群客户端和eclips
2.上述步骤完成后启动eclipse
(如果已经启动则重启)
进入菜单栏 window/show view
如图:配置集群客户端和eclips
搜索Map/Reduce按钮并添加
在工具栏中出现如下图标则应用成功
配置集群客户端和eclips
在Map/Reduce窗口下添加HadoopLocation
配置集群客户端和eclips
LocationName 可以任意取一个
Host填写当前(active)状态下的NameNode节点主机域名
端口为:8020
点击finish,至此插件配置完成
Project Explorer 视图下出现以下窗口
配置集群客户端和eclips
则配置成功。

可以开心的在eclipse中操作HDFS了。

相关文章:

  • 2021-08-19
  • 2021-06-26
  • 2022-12-23
  • 2021-06-09
  • 2021-08-23
  • 2021-06-02
  • 2021-06-19
  • 2021-09-28
猜你喜欢
  • 2023-02-25
  • 2021-10-24
  • 2022-12-23
  • 2021-12-06
  • 2021-05-19
  • 2021-04-19
  • 2021-09-18
相关资源
相似解决方案