如果使用windows开发mapreduce程序,是不能进行debug的,会报如下错误,但其实不影响最终运行结果

DEBUG o.a.h.u.Shell - Failed to detect a valid hadoop home directory
java.io.IOException: HADOOP_HOME or hadoop.home.dir are not set.
ERROR o.a.h.u.Shell - Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

首先需要设置环境变量,类似JAVA_HOME,HADOOP_HOME,bin目录下面带有winutils.exe和hadoop.dll两个文件就可以

bin目录放入winutils.exe和hadoop.dll两个文件, 网上下载,很多

然后将他们两个再在C:\Windows\System32路径下放一份,这个时候就可以在windows系统debug MR程序了

 

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2021-11-14
  • 2021-08-02
  • 2021-09-19
  • 2022-02-09
  • 2021-10-08
  • 2021-09-23
猜你喜欢
  • 2021-05-06
  • 2021-06-04
  • 2022-12-23
  • 2021-04-24
  • 2021-12-15
  • 2021-08-27
  • 2021-07-14
相关资源
相似解决方案