【问题标题】:Hadoop 2.5.0 on Mesos 0.21.0 with library 0.0.8 executor errorMesos 0.21.0 上的 Hadoop 2.5.0 与库 0.0.8 执行器错误
【发布时间】:2016-03-03 15:20:20
【问题描述】:

stderr 在运行 map-reduce 作业时记录以下内容:

root@dbpc42:/tmp/mesos/slaves/20141201-225046-698725789-5050-19765-S24/frameworks/20141201-225046-698725789-5050-19765-0016/executors/executor_Task_Tracker_2/runs/latest# ls
hadoop-2.5.0-cdh5.2.0  hadoop-2.5.0-cdh5.2.0.tgz  stderr  stdout

stderr的内容:

警告:在将 InitGoogleLogging() 写入 STDERR I1202 之前的日志记录 19:41:40.323521 7223 fetcher.cpp:76] 获取 URI 'hdfs://dbpc41:9000/hadoop-2.5.0-cdh5.2.0.tgz' I1202 19:41:40.323685 7223 fetcher.cpp:105] 下载资源 'hdfs://dbpc41:9000/hadoop-2.5.0-cdh5.2.0.tgz' 到 '/tmp/mesos/slaves/20141201-225046-698725789-5050-19765-S24/frameworks/20141201-225046-698725789-5050-19765-0016/executors/executor_Task_Tracker_0/runs/59c9a5ac-c376-4e9e-b9b7-63a24ae84dcd/ hadoop-2.5.0-cdh5.2.0.tgz'

I1202 19:41:48.779220 7223 fetcher.cpp:64] 提取的资源 '/tmp/mesos/slaves/20141201-225046-698725789-5050-19765-S24/frameworks/20141201-225046-698725789-5050-19765-0016/executors/executor_Task_Tracker_0/runs/59c9a5ac-c376-4e9e-b9b7-63a24ae84dcd/ hadoop-2.5.0-cdh5.2.0.tgz' 进入 '/tmp/mesos/slaves/20141201-225046-698725789-5050-19765-S24/frameworks/20141201-225046-698725789-5050-19765-0016/executors/executor_Task_Tracker_0/runs/59c9a5ac-c376-4e9e-b9b7-63a24ae84dcd'

sh: 1: cd: 无法 cd 到 hadoop-2.5.0-cdh5.2.0

sh: 1: ./bin/hadoop: 不是 找到了

stdout 为空。

有趣的是,当我在 master 运行的同一个节点上运行 slave 时,问题没有出现并且任务成功完成。只有远程从站会引入这个问题。可能是什么问题?

【问题讨论】:

    标签: hadoop mapreduce mesos


    【解决方案1】:

    JobTracker 放置并由执行程序运行的脚本无法访问该目录。我通过将目录/tmp 的权限递归更改为“对所有人免费”,777 解决了这个问题。

    【讨论】:

      【解决方案2】:

      您需要做的是在 mesos-work-dir 所在的任何位置授予 +x 访问权限。您不需要 777 递归。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2013-04-14
        • 1970-01-01
        • 1970-01-01
        • 2015-07-15
        • 1970-01-01
        相关资源
        最近更新 更多