错误 terasort.TeraSort: 输入路径不存在: maprfs:/user/user01/–DXmx1024m答案

【问题标题】：ERROR terasort.TeraSort: Input path does not exist: maprfs:/user/user01/–DXmx1024m错误 terasort.TeraSort: 输入路径不存在: maprfs:/user/user01/–DXmx1024m
【发布时间】：2015-05-25 04:59:39
【问题描述】：

在通过修改参数运行terasort 应用程序时，我收到以下错误。

15/05/24 21:41:42 ERROR terasort.TeraSort: 输入路径不存在：maprfs:/user/user01/–DXmx1024m

我为执行慢跑而运行的命令

$ hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/hadoop-0.20.2-dev-\
examples.jar terasort –DXmx1024m –Dmapred.reduce.tasks=2 \
-Dio.sort.mb=1 /user/user01/6/TERA_IN /user/user01/6/TERA_OUT_2

如果我删除这些参数–DXmx1024m –Dmapred.reduce.tasks=2 -Dio.sort.mb=1，那么一切正常。

我认为我正面临以下错误，该错误发布在 jira 上，但适用于 windows https://issues.apache.org/jira/browse/HADOOP-8536

【问题讨论】：

标签： hadoop mapr

【解决方案1】：

这只是 MapR LAB GUIDE 中的一个复制/粘贴问题。

只需将 VM 输入参数中的“-”更改为“-”即可。

通过复制/粘贴查看执行：

-bash-4.1$ hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/hadoop-0.20.2-dev-\
> examples.jar terasort –DXmx1024m –Dmapred.reduce.tasks=2 \
> -Dio.sort.mb=1 /user/user01/6/TERA_IN /user/user01/6/TERA_OUT_2
15/10/26 15:24:57 INFO terasort.TeraSort: starting
15/10/26 15:24:59 ERROR terasort.TeraSort: Input path does not exist: maprfs:/user/user01/–DXmx1024m
-bash-4.1$

用固定的命令行查看执行：

-bash-4.1$ hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/hadoop-0.20.2-dev-examples.jar terasort -DXmx1024m -Dmapred.reduce.tasks=2 -Dio.sort.mb=1 /user/user01/6/TERA_IN /user/user01/6/TERA_OUT_2
15/10/26 15:25:26 INFO terasort.TeraSort: starting
15/10/26 15:25:27 INFO input.FileInputFormat: Total input paths to process : 2
....

【讨论】：

【解决方案2】：

在运行 terasort 之前是否运行 teragen？

你使用什么文件系统？为什么是“maprfs”。如果不是故意的，请检查您的配置文件

15/05/24 21:41:42 ERROR terasort.TeraSort: Input path does not exist: **maprfs**:/user/user01/–DXmx1024m

【讨论】：

我正在使用 Mapr Distribution，这就是它使用 maprfs 的原因，并且我在执行 terasort 之前执行了 teragen。正如我在我的问题中提到的，如果我删除参数，那么一切都执行得很好。
"io.sort.mb" 用于设置地图输出缓冲区，默认为100M。但是你设置它1M，它太小了。尝试删除此参数。