【问题标题】:IOException in my code java我的代码java中的IOException
【发布时间】:2016-06-10 08:08:05
【问题描述】:

我使用 java 使用 spark,每当我尝试运行我的代码时,它会在这行代码中出现 IOException:

     SparkConf conf = new SparkConf().setAppName("myapp").setMaster("local[*]");
     JavaSparkContext sc = new JavaSparkContext(conf);

这个异常的细节是:

Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

当我尝试下载 winutils.exe 并安装它时,我收到了这条消息:

the program cant start bcz MSVCR100.dll is misssing

请问我该如何解决呢?

【问题讨论】:

标签: apache-spark


【解决方案1】:

您需要将HADOOP_HOME 变量设置为某个路径。将 winutils.exe 放入%HADOOP_HOME%\bin

对于 MSVCR100.dll,下载并安装。

确保根据您的机器配置下载 32 位/64 位 winutils.exe 和 dll。

这里是在 windows 上设置 spark 的链接: How to run Apache Spark on Windows7 in standalone mode

希望对你有帮助..

【讨论】:

  • 我设置了变量并安装了 .dll 文件,老实说我不知道​​如何正确执行此操作,你能给我一个链接吗?bcz 我跟着我在 youtube 上找到的,但它没有用
【解决方案2】:

最后我解决了这个问题,我只是按照这个链接中解释的方式,它简单明了高效 关联: http://teknosrc.com/spark-error-java-io-ioexception-could-not-locate-executable-null-bin-winutils-exe-hadoop-binaries/ 想谢谢你#Nishu Tayal

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-01-13
    • 1970-01-01
    • 1970-01-01
    • 2017-11-22
    • 1970-01-01
    相关资源
    最近更新 更多