Jupyter Notebook - AccessControlException：权限被拒绝：用户 = livy答案

【问题标题】：Jupyter Notebook - AccessControlException: Permission denied: user=livyJupyter Notebook - AccessControlException：权限被拒绝：用户 = livy
【发布时间】：2019-02-03 14:30:15
【问题描述】：

我正在使用 Spark/Livy 运行 EMR 集群，并想测试 Spark Structured Streaming。我正在使用 Jupyter Notebook 托管服务（通过 Livy 连接）但是当我在 Jupyter 中尝试此代码时：

query = (wordCounts
.writeStream
.queryName("streamingDF")
.outputMode('complete')
.format('memory')
.start())

我收到以下错误：

调用 o98.start 时出错。 : org.apache.hadoop.security.AccessControlException: 权限被拒绝: user=livy, access=WRITE, inode="/mnt/tmp":hadoop:hadoop:drwxr-xr-x

由于 Livy 似乎正在将临时数据写入 HDFS，我该如何更改权限以及更改权限。我认为使用“内存”选项它会写入驱动程序而不是磁盘。

【问题讨论】：

你找到解决这个问题的方法了吗？我也有同样的问题

标签： apache-spark jupyter-notebook amazon-emr

【解决方案1】：

您必须通过 ssh 进入主节点并运行 sudo usermod -a -G hdfsadmingroup livy。默认情况下，在 AWS 中为 jupyter notebook 创建的“livy”用户对 hdfs 没有写入权限。

我可能为帮助原作者太晚了，但希望这可以为未来的开发者节省一些时间。

【讨论】：