【问题标题】:How can I delete data from RDS on the onSuccess of a copyActivity of data from RDS to S3 in AWS Data Pipeline?如何在 AWS Data Pipeline 中将数据从 RDS 复制到 S3 的 onSuccess 上从 RDS 中删除数据?
【发布时间】:2018-09-01 18:12:49
【问题描述】:

我正在尝试将数据从 RDS(postgres) 增量备份到 s3。为此,我使用 AWS Data Pipeline。我能够复制数据,一切正常。

我面临的问题是我无法找到删除 RDS 中已复制数据的方法。我可以看到有一个 onSuccess 操作,但它只允许我向 SNS 发布消息或终止活动。

有没有一种方法可以在 AWS Data Pipeline 中将数据从 RDS 成功复制到 S3 时删除数据?

【问题讨论】:

    标签: amazon-web-services amazon-s3 rds amazon-data-pipeline


    【解决方案1】:

    onSuccess/onFailure 主要用于状态报告。 DPL 并不真正支持分支或错误处理的想法。你设置了你的图表,它一步一步地运行。如果某事失败,它要么暂停,要么中止。

    我将使用dependsOn 属性创建一个在您的副本之后运行的新活动:

    {
      "id": "DeleteDataStep",
      ...
      "dependsOn": { "ref": "CopyRdsToS3Step" },
      ...
    }
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2020-07-18
      • 1970-01-01
      • 1970-01-01
      • 2020-06-21
      • 1970-01-01
      • 1970-01-01
      • 2021-04-19
      • 1970-01-01
      相关资源
      最近更新 更多