【问题标题】:Set permission to directory at runtime scala spark在运行时设置目录权限 scala spark
【发布时间】:2018-01-10 08:47:05
【问题描述】:

我正在尝试从 HDFS 上的 spark 代码中创建一个目录并在其中写入一个文件。但是在编写时失败并出现以下错误。

Permission denied: user=root, access=WRITE, 
inode="/root/test/_temporary/0":hdfs:hadoop:drwxr-xr-x

我们如何在 scala 运行时设置目录的权限?

更新

我正在使用这些命令来授予对创建的目录的权限。

  dir.canExecute()
  dir.canRead()
  dir.canWrite()

  dir.setWritable(true, false)
  dir.setReadable(true,false)
  dir.setExecutable(true, false)

【问题讨论】:

  • 您是如何创建该目录的?执行dir.canWrite()会得到什么?

标签: scala hadoop apache-spark pyspark spark-dataframe


【解决方案1】:

感谢 philantrovert 看一下这个,但我意识到即使我在运行时成功创建目录并且 dir.canWrite() 返回 true,这是在 EMR 上,目录是在服务器上创建的,但 Spark 实际上正在尝试写入不存在此类文件夹的 HDFS。 -:)

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2018-08-18
    • 1970-01-01
    • 2011-08-03
    • 2017-07-25
    • 2018-04-26
    • 2017-09-14
    • 1970-01-01
    • 2019-05-11
    相关资源
    最近更新 更多