我们可以在执行时将动态变量传递给 aws step 函数吗？

Question

我正在使用步进函数data science SDK using python。我有一个每天运行的任务，并且在步骤函数的某些步骤中要访问的数据的路径每天都在变化，因为它具有日期参数。

执行 step 函数时如何传递 date 参数和 使用它，这样我就可以每天自动访问新数据。

这是我添加到工作流中的步骤示例。

etl_step = steps.GlueStartJobRunStep(
    'Extract, Transform, Load',
    parameters={"JobName": execution_input['GlueJobName'],
                "Arguments":{
                    '--S3_SOURCE': data_source,
                    '--S3_DEST': 's3a://{}/{}/'.format(bucket, project_name),
                    '--TRAIN_KEY': train_prefix + '/',
                    '--VAL_KEY': val_prefix +'/'}
               }
)

我想将日期变量添加到 S3_DEST。如果我使用 execution_input，则类型不是字符串，因此我无法将其连接为路径。

Answer 1

编辑

如果日期是 datetime 对象，您可以使用 datetime.strftime('%Y-%m-%d')` 将其输出为字符串。

原创

Step 函数支持将input 插入其中。

如果您使用的是SDK for start_execution，那么您可以使用输入参数。

如果您有 CloudWatch 事件，您可以从控制台指定一个常量。