外网连接内网hadoop集群

 

 

本地开发环境springboot项目中链接内网中hadoop集群，namenode使用外网连接没问题，但是上传文件时，通过namenode找datanode时就自动变为内网ip了，这样肯定不行的。

卡了两天。。

偶然间发现一篇文章：https://blog.csdn.net/qq_36951116/article/details/90348181?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param

最后就是在开发的机器上（我的是windows10环境）在hosts文件中加入datanode主机名映射

1.在配置文件位置加入一行代码

conf.set("dfs.client.use.datanode.hostname", "true");//让namenode返回datanode所在机器的hostname
获取datanode机器的主机名

 

 

windows10   hosts文件位置：C:\windows\system32\drivers\etc\

2.在hosts文件中加入datanode主机名映射如下图：