在 emr 5.16 上将 jupyterhub notebook_dir 设置为 s3

【问题标题】：set jupyterhub notebook_dir to s3 on emr 5.16在 emr 5.16 上将 jupyterhub notebook_dir 设置为 s3
【发布时间】：2019-02-05 02:09:12
【问题描述】：

在启动集群之前，有没有办法将 EMR-Cluster 的 JSON 配置文件中的 notebook-dir 重定向到 s3。我使用了以下分类：“jupyter-notebook-conf”并设置了以下选项： c.NotebookApp.notebook_dir "s3://[bucket]/path"

创建配置文件： “/etc/jupyter/jupyter_notebook_config.py” 使用给定的条目，但没有成功。

之前手动安装jupyterhub时可以使用--notebook-dir选项，现在尝试使用EMR-Cluster预装的jupyterhub服务（见：Run Jupyter Notebook and JupyterHub on Amazon EMR）

【问题讨论】：

标签： amazon-web-services amazon-s3 amazon-emr jupyterhub

【解决方案1】：

5.16 不支持

5.17 允许通过添加此配置分类来实现这一点

[
    {
        "Classification": "jupyter-s3-conf",
        "Properties": {
            "s3.persistence.enabled": "true",
            "s3.persistence.bucket": "MyJupyterBucket"
        }
    }
]

【讨论】：

感谢您的回答。现在，我写了一个脚本让它工作，但这看起来好多了。 :D
@Steven 它真的对你有用吗？运行 jupyterhub 的容器似乎没有将凭据继承到 S3。我手动添加了它们（export...）。然后，原来dask和toolz没有安装在容器中。我也添加了它们，但仍然：没有成功。
@Dror 这确实对我有用。如果您认为凭证是一个问题，我会查看与 EMR 主服务器关联的 IAM 角色和 SG