云服务器搭建Hadoop集群DataNode下没有current文件夹
搭建过程遇到情况说明:
购买云服务器搭建Hadoop集群和VM虚拟机搭建不一样在于像服务器有公网IP和内网IP,所以在配置hosts文件的时候本机hostname绑定内网IP,其他hostname绑定公网IP,即:
内网IP地址 你的hostname
公网IP地址 其他hostname
通俗讲就是:
bigdata111配置hosts
bigdata111内网IP bigdata111
bigdata112公网IP bigdata112
bigdata113公网IP bigdata113
…
还有就是,外部访问服务器端口如8080,50070是需要在服务器控制台添加规则的
比如如下情况
…
说明NameNode和DataNode都正常启动的
但是:
访问50070页面却只有一个DataNode
能访问50070页面的前提是服务器安全规则添加了50070
检查发现其他DataNode节点下没有生成current文件夹,即没有VERSION文件,就没有ID
再访问bigdata113:50075
查看log
bigdata112、bigdata113一直在请求连接bigdata111的9000端口
于是在bigdata111服务器安全组规则添加9000端口,刷新,三个节点出来。