【问题标题】:Error creating temp dir in hadoop.tmp.dir /tmp/hadoop-sha due to Permission denied由于权限被拒绝,在 hadoop.tmp.dir /tmp/hadoop-sha 中创建临时目录时出错
【发布时间】:2012-10-12 00:16:31
【问题描述】:

我在 hadoop 集群上运行 java map reduce 代码时收到以下错误消息:

-sh-3.2$ hadoop jar PearsonSim1.jar PearsonSim.PearsonDriver1 /user/sha/data/rating_sample_item /user/sha/cf/PearsonSim1

“由于权限被拒绝,在 hadoop.tmp.dir /tmp/hadoop-sha 中创建临时目录时出错”

有没有人遇到过这样的问题?我想知道我的代码是否有任何问题,或者只是帐户权限设置有问题。我的代码在 Cloudera 的 CDH3 VM 上运行良好。

谁能解释一下?

【问题讨论】:

    标签: java debugging hadoop mapreduce cloudera


    【解决方案1】:

    hadoop.tmp.dir 被作业客户端用于组装您的作业类/文件等,然后将它们发送到作业跟踪器。

    对于您收到此错误消息,以下情况之一可能是正确的:

    作为当前用户,您没有 /tmp 目录的写入和执行权限。尝试在 /tmp 中手动创建一个目录,看看是否收到错误消息。如果这样做,则需要打开该文件夹的权限 (sudo chmod a+rwx /tmp)

    如果没问题,那么目录 /tmp/hadoop-sha 是否已经存在,您是否有权写入该文件夹?

    【讨论】:

    • hadoop.tmp.dir 是 hdfs 路径还是本地路径?我只是尝试在本地和 hdfs 中创建它们,并且
    • 本地路径,在您提交作业的机器上
    • 还有其他地方用到了hadoop.tmp.dir,你是在提交作业之后看到这个错误,还是在作业开始之前看到这个错误?
    • 你也可以用这个目录来释放磁盘空间。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2021-10-21
    • 1970-01-01
    • 1970-01-01
    • 2014-02-04
    • 2015-10-30
    • 2020-02-12
    • 1970-01-01
    相关资源
    最近更新 更多