【发布时间】：2014-02-12 01:10:44
【问题描述】：
我使用 hive-0.11.0、hadoop 2.0.3 和 mysql 5.6 处理元数据
我可以成功运行SELECT * FROM记录之类的语句，它不会创建map/reduce任务。
但是当我尝试运行 SELECT * FROM records where year='1949' 时，map/reduce 任务总是会出错
hadoop 给我诊断：
应用程序 application_1382680612829_0136 失败 1 次，原因是 AM Container for appattempt_1382680612829_0136_000001 以 exitCode：-1000 退出，原因是：java.io.FileNotFoundException：文件 /tmp/hadoop-hadoop/nm-local-dir/filecache 在 org.apache.hadoop 中不存在.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:492) 在 org.apache.hadoop.fs.FileSystem.primitiveMkdir(FileSystem.java:996) 在 org.apache.hadoop.fs.DelegateToFileSystem.mkdir(DelegateToFileSystem.java:150) ) 在 org.apache.hadoop.fs.FilterFs.mkdir(FilterFs.java:187) 在 org.apache.hadoop.fs.FileContext$4.next(FileContext.java:730) 在 org.apache.hadoop.fs.FileContext $4.next(FileContext.java:726) at org.apache.hadoop.fs.FileContext$FSLinkResolver.resolve(FileContext.java:2379) at org.apache.hadoop.fs.FileContext.mkdir(FileContext.java:726)在 org.apache.hadoop.yarn.util.FSDownload.createDir(FSDownload.java:88) 在 org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:274) 在 org.apache.hadoop.yarn .util.FSD 下载ad.call(FSDownload.java:51) at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303) at java.util.concurrent.FutureTask.run(FutureTask.java:138) at java.util .concurrent.Executors$RunnableAdapter.call(Executors.java:441) at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303) at java.util.concurrent.FutureTask.run(FutureTask.java:138 ) 在 java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908) 在 java.lang.Thread.run(Thread. java:662) . 尝试失败.. 应用程序失败。
我该怎么办？谢谢
【问题讨论】：
-
这表明您存在 java.io.FileNotFoundExceptiona bout File /tmp/hadoop-hadoop/nm-local-dir/filecache，它是您环境配置中的一个元素吗？
-
我不确定。我在 hive shell 中运行 set -v 。并获得一条类似hadoop.tmp.dir=/tmp/hadoop-${user.name}的行。是吗？ @emecas
-
我不确定。我已经发布了我找到的关于您获得的异常的最佳参考的摘要作为答案。您的 hadoop 2.0.3 安装是最后一个版本吗？确定是
标签： hadoop mapreduce hive diagnostics