【问题标题】:How can I delete data from RDS on the onSuccess of a copyActivity of data from RDS to S3 in AWS Data Pipeline?如何在 AWS Data Pipeline 中将数据从 RDS 复制到 S3 的 onSuccess 上从 RDS 中删除数据?
【发布时间】:2018-09-01 18:12:49
【问题描述】:
我正在尝试将数据从 RDS(postgres) 增量备份到 s3。为此,我使用 AWS Data Pipeline。我能够复制数据,一切正常。
我面临的问题是我无法找到删除 RDS 中已复制数据的方法。我可以看到有一个 onSuccess 操作,但它只允许我向 SNS 发布消息或终止活动。
有没有一种方法可以在 AWS Data Pipeline 中将数据从 RDS 成功复制到 S3 时删除数据?
【问题讨论】:
标签:
amazon-web-services
amazon-s3
rds
amazon-data-pipeline
【解决方案1】:
onSuccess/onFailure 主要用于状态报告。 DPL 并不真正支持分支或错误处理的想法。你设置了你的图表,它一步一步地运行。如果某事失败,它要么暂停,要么中止。
我将使用dependsOn 属性创建一个在您的副本之后运行的新活动:
{
"id": "DeleteDataStep",
...
"dependsOn": { "ref": "CopyRdsToS3Step" },
...
}