使用 boto 为 RedShiftCopyActivity 创建 AWS 数据管道答案

【问题标题】：Using boto to create a AWS data pipeline for the RedShiftCopyActivity使用 boto 为 RedShiftCopyActivity 创建 AWS 数据管道
【发布时间】：2015-06-26 22:56:49
【问题描述】：

我正在尝试将数据从 s3 移动到 redshift，并希望对 redshift 中的主键强制唯一性。我意识到复制命令本身不能做到这一点。但是，我注意到可通过 AWS 数据管道获得的 RedshiftCopyActivity 允许使用“OVERWRITE_EXISTING”标志，这至少允许以某种方式强制执行主键。

我想知道是否可以使用 boto 来实现这一点，以及是否有人可以向我指出这种用法的示例。

【问题讨论】：

标签： amazon-web-services amazon-s3 boto amazon-redshift amazon-data-pipeline

【解决方案1】：

我认为 boto 或许能够为 RedshiftCopyActivity 创建数据管道。

这是有关如何将定义放入数据管道的文档。

https://boto3.readthedocs.org/en/latest/reference/services/datapipeline.html#DataPipeline.Client.put_pipeline_definition

这里是 RedshiftCopyAcitivty 的定义示例

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-copydata-redshift-define-pipeline-cli.html

【讨论】：