注意:我使用的是centos7+hadoop2.7.3的环境

今天将eclipse中写好的MapReduce打成jar包传到linux服务器上,跑了下hadoop集群。

首先先记录下如何将eclipse的工程打成jar包

1.选中你要打包的包右键选中export
2.输入jar选择如下 然后next

打包eclipse中的MapReduce类及在linux上运行jar出现的问题

3.点击Browse选择一个你想保存jar包的位置 然后next

打包eclipse中的MapReduce类及在linux上运行jar出现的问题

4.然后一直next到最后无法next时点击Browse 选中你想打包的main类,ok,finish。然后出现一个waring继续ok。完成后你刚刚保存的路径下就会出现一个咖啡图标的jar包了

打包eclipse中的MapReduce类及在linux上运行jar出现的问题

5.我的就是这样,就成功啦
打包eclipse中的MapReduce类及在linux上运行jar出现的问题

在hadoop集群上跑出现的问题

1.有时候会出现safe mode的问题
hadoop dfsadmin -safemode leave
可以用来退出安全模式
2.会出现打包eclipse中的MapReduce类及在linux上运行jar出现的问题
停在job处,无法执行下一步操作。
此时的解决方法如下(默认三个datanode):
a.将yarn-site.xml修改成如下
打包eclipse中的MapReduce类及在linux上运行jar出现的问题
然后重启hadoop在尝试使用jar包,如果还未成功在执行b。
b.将datanode和namenode的主机名设置好,并修改datanode和namenode的/etc/hosts为你修改的主机名比如下图。此时在重启hadoop集群。运行MapReducejar包就可以啦。
打包eclipse中的MapReduce类及在linux上运行jar出现的问题

相关文章: