Glue ETL：如何使用 AWS 管理控制台将配置文件引用为额外文件？

Question

我正在尝试使用 Glue ETL 作为我的 Python 脚本的作业调度程序，该脚本还引用了 JSON 配置文件。

根据https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-glue-arguments.html，有一个名为--extra-files的参数，据说是配置文件等附加文件的S3路径。创建作业时，我似乎无法在控制台上找到它。

我所做的是将我的配置文件上传到与我用于 Glue ETL 的 python 脚本相同的 S3 存储桶中，我将其包含在 Referenced files path 参数中。

在我的脚本中，我将我的配置文件称为：

with open('config.json', 'r') as config:
    config = json.load(config)

我的代码逻辑没有任何问题，因为在本地运行时一切正常。

但是，当我尝试运行 Glue ETL 作业时，我似乎收到了一条失败消息，上面写着 No such file or directory: 'config.json'。

我在这里做错了什么？如何使我的用例与 Glue ETL 一起使用？

Answer 1

这些参数可以作为作业参数传递。在控制台上，可在创建或编辑作业时的安全配置、脚本库和作业参数（可选）部分下找到。

根据this answer，如果您在 Python shell 作业中使用引用文件路径变量，则在 /tmp 中找到引用文件，默认情况下 Python shell 作业无法访问。