AWS Glue：无法识别 --extra-files 参数

Question

我在 Glue 上将 --extra-files 指定为作业参数，但前端对此并不满意，如图所示：

无论如何我都能够保存我的工作并成功运行它：

def read_yaml(config_file_name: str) -> dict:

    with open(config_file_name, 'r') as stream:
        try:
            return yaml.safe_load(stream)
        except yaml.YAMLError as exc:
            logger.info(exc)

config = read_yaml(config_file_name=CONFIG_FILE_NAME)
logger.info(config)

然后很奇怪的是，如果我再次检查作业参数，那么-extra-files 就会消失，如果我再次运行作业，它仍然会读取我存储在 S3 中的配置文件。

任何人都可以解释：(1) 为什么--extra-files 会产生前端错误，以及(2) 为什么尽管没有设置--extra-files，但作业运行顺利？

谢谢！

Answer 1

这只是 AWS Glue 的怪癖之一。 '--extra-files' 相当于 UI 控制台上的 'Referenced Files Path'。

通常，在使用 CLI 或 CloudFormation 创建新的 Glue 作业时，我们使用“--extra-files”来设置此值。但是，在控制台上，可以在“安全配置、脚本库和作业参数”部分设置此参数--->“引用文件路径”

一旦成功设置，您将不再将其视为“作业参数”部分中的单独键。相反，它将显示在作业详细信息选项卡中，（信不信由你） 一个全新的名称 - 'Other lib path'