【问题标题】:How to parameterize the Step Name in AWS EMR?如何参数化 AWS EMR 中的步骤名称?
【发布时间】:2021-09-23 16:56:05
【问题描述】:

我试图用 Name 值连接一些东西-

step = {"Name": "what_you_do-" + time.strftime("%Y%m%d-%H:%M"),
        'ActionOnFailure': 'CONTINUE',
        'HadoopJarStep': {
            'Jar': 's3n://elasticmapreduce/libs/script-runner/script-runner.jar',
            'Args': 'sd'
        }

但它给出了参数验证错误-

    "errorMessage": "Parameter validation failed:\nInvalid type for parameter Steps[0].HadoopJarStep.Args, value: sd, type: <class 'str'>, valid types: <class 'list'>, <class 'tuple'>",
  "errorType": "ParamValidationError",

当我尝试下面的方法时,它也会抛出参数验证错误-

{"Name.$": "$.variable",
        'ActionOnFailure': 'CONTINUE',
        'HadoopJarStep': {
            'Jar': 's3n://elasticmapreduce/libs/script-runner/script-runner.jar',
            'Args': 'sd'
        }
    }

【问题讨论】:

    标签: python amazon-web-services aws-lambda amazon-emr


    【解决方案1】:

    Args 必须是下面的数组样本

    'HadoopJarStep': {
                'Jar': 's3n://elasticmapreduce/libs/script-runner/script-runner.jar',
                'Args': ['sd']
            }
    

    【讨论】:

    • 其实参数部分对我来说还可以。想知道是否有办法参数化“名称”。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-12-22
    • 2018-10-10
    • 1970-01-01
    • 2021-11-16
    • 1970-01-01
    相关资源
    最近更新 更多