【发布时间】:2017-02-09 16:29:29
【问题描述】:
我已经使用 --user 选项安装了 jupyter,它工作正常。我需要在笔记本中运行 spark 并从 HDFS 读取数据,并且与我的个人用户一起运行 jupyter 会导致 HDFS 中的文件权限出现问题。因此,我决定使用 hdfs 用户运行它(我们的集群已配置为所有 spark 作业都应由该 hdfs 用户运行),但它无法找到我个人用户的 /home/myuser/.local 文件夹中的依赖项。有没有办法告诉 jupyter 以当前用户 (hdfs) 身份运行,但在另一个用户的家中寻找二进制文件和依赖项?
我也使用 toree 作为网关,如果这可以打开更多选项。
【问题讨论】:
标签: apache-spark hdfs jupyter-notebook apache-toree