AWS Glue 3.0 容器不适用于 Jupyter 笔记本本地开发答案

【问题标题】：AWS Glue 3.0 container not working for Jupyter notebook local developmentAWS Glue 3.0 容器不适用于 Jupyter 笔记本本地开发
【发布时间】：2021-12-27 04:29:16
【问题描述】：

我正在 AWS 中使用 Glue，并尝试在本地开发中进行测试和调试。我按照https://aws.amazon.com/blogs/big-data/developing-aws-glue-etl-jobs-locally-using-a-container/ 此处的说明在本地开发 Glue 作业。在那篇文章中，他们使用 Glue 1.0 图像进行测试，它可以正常工作。但是，当我加载并尝试通过 Glue 3.0 版本进行开发时；我按照指导步骤进行操作，但是我无法在 :8888 上打开 Jupyter 笔记本，就像帖子所说的那样，即使每一步似乎都是正确的。

这里是我的 cmd，用于在 Glue 3.0 容器上启动 Jupyter 笔记本

docker run -itd -p 8888:8888 -p 4040:4040 -v ~/.aws:/root/.aws:ro --name glue3_jupyter amazon/aws-glue-libs:glue_libs_3.0.0_image_01 /home/jupyter/jupyter_start.sh

http://localhost:8888 上没有显示。

仍然不知道为什么！我理解差异。 Glues 版本之间只是想开发和测试它的最新版本。有人遇到同样的问题吗？谢谢。

【问题讨论】：

将-itd 更改为-it 以删除d 命令行标志，使输出出现在您的控制台中，并查找错误。
感谢@AndyRay 指出，我现在第一次发现了2 个错误。启动 jupyter 的 cmd 是否更改为 /home/glue_user/jupyter/jupyter_start.sh 我在 Dockerfile 中看到它，第二个是当 jupyter 服务器从 asyncio lib 的某处启动 Exception in callback BaseAsyncIOLoop._handle_events - ssl.SSLError: [SSL] PEM lib 时出现的错误，将再次检查

标签： amazon-web-services jupyter-notebook aws-glue

【解决方案1】：

似乎 GLUE 3.0 映像在 SSL 方面存在一些问题。在本地工作的一种解决方法是禁用 SSL（您还必须更改脚本路径，因为文档未更新）。

$ docker run -it -p 8888:8888 -p 4040:4040 -e DISABLE_SSL="true" \
    -e AWS_ACCESS_KEY_ID=$(aws --profile default configure get aws_access_key_id) \ 
    -e AWS_SECRET_ACCESS_KEY=$(aws --profile default configure get aws_secret_access_key) \ 
    -e AWS_DEFAULT_REGION=$(aws --profile default configure get region) \
    --name glue_jupyter amazon/aws-glue-libs:glue_libs_3.0.0_image_01 \ 
    /home/glue_user/jupyter/jupyter_start.sh

几秒钟后，您应该会在 http://127.0.0.1:8888 上运行一个正常工作的 jupyter 笔记本实例

【讨论】：

感谢您分享有用的解决方案@jabaldonedo