如何设置 PySpark ETL 的本地开发环境以在 AWS Glue 中运行？

【问题标题】：How to set up a local development environment for PySpark ETL to run in AWS Glue?如何设置 PySpark ETL 的本地开发环境以在 AWS Glue 中运行？
【发布时间】：2018-09-28 06:56:49
【问题描述】：

PyCharm 专业版支持连接， AWS Glue 开发人员端点 (https://docs.aws.amazon.com/glue/latest/dg/dev-endpoint-tutorial-pycharm.html) 的部署和远程调试，但我不知道如何为此目的使用 VS Code（我选择的代码编辑器）。 VS Code 是否支持这些功能？或者是否有其他具有相同功能的 PyCharm 专业版的免费替代品？

【问题讨论】：

标签： amazon-web-services visual-studio-code aws-glue vscode-debugger

【解决方案1】：

我没有使用 pyCharm，但使用 Zeppelin 设置了一个本地开发端点，用于我的 Glue 作业开发/测试。请参阅我的相关帖子和参考资料以设置本地开发端点。也许你可以尝试一下，如果它有用的话，你可以尝试使用 pyCharm 代替 Zeppelin。

参考：Is it possible to use Jupyter Notebook for AWS Glue instead of Zeppelin & Link for zeppelin local development endpoint SO discussions

【讨论】：