【问题标题】:Running user-local jupyter installation with another user与另一个用户一起运行用户本地 jupyter 安装
【发布时间】:2017-02-09 16:29:29
【问题描述】:

我已经使用 --user 选项安装了 jupyter,它工作正常。我需要在笔记本中运行 spark 并从 HDFS 读取数据,并且与我的个人用户一起运行 jupyter 会导致 HDFS 中的文件权限出现问题。因此,我决定使用 hdfs 用户运行它(我们的集群已配置为所有 spark 作业都应由该 hdfs 用户运行),但它无法找到我个人用户的 /home/myuser/.local 文件夹中的依赖项。有没有办法告诉 jupyter 以当前用户 (hdfs) 身份运行,但在另一个用户的家中寻找二进制文件和依赖项?

我也使用 toree 作为网关,如果这可以打开更多选项。

【问题讨论】:

    标签: apache-spark hdfs jupyter-notebook apache-toree


    【解决方案1】:

    尝试旧的 Hadoop 技巧:

    • 在您自己的用户下运行 Spark 会话
    • 但是在Spark环境中,插入export HADOOP_USER_NAME=hdfs命令,这样驱动在分配YARN执行器时注册为hdfs

    (当然不能与 Kerberos 一起使用;但接下来需要针对 Kerberos 以 hdfs 身份进行身份验证...)

    【讨论】:

    • 完美。现在我有另一个问题(可能与 toree+python 有关)但这完美无缺
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-04-04
    • 1970-01-01
    相关资源
    最近更新 更多