【发布时间】:2016-06-30 03:52:16
【问题描述】:
我有一个用例,新文件可以随时显示在 s3 文件夹中,我们希望通过 RedshiftCopyActivity 将它们导入 Redshift。我有一个管道设置,我们可以在其中将数据从 s3 移动到 Redshift - 但使用专门命名的文件。但是,在这种情况下,文件名可以是随机的。我正在考虑类似的事情
- 假设我们有一个 s3 文件夹 s3://toProcess
- 数据管道作业每小时检查 s3://toProcess 中是否有新文件
- 如果有,则处理并删除它们(因此它不会在下一小时处理它们)
对如何完成这项工作有任何想法吗?
【问题讨论】:
标签: amazon-web-services amazon-data-pipeline