【问题标题】:AWS Datapipeline - import randomly named files in a s3 bucket to RedshiftAWS Datapipeline - 将 s3 存储桶中随机命名的文件导入 Redshift
【发布时间】:2016-06-30 03:52:16
【问题描述】:

我有一个用例,新文件可以随时显示在 s3 文件夹中,我们希望通过 RedshiftCopyActivity 将它们导入 Redshift。我有一个管道设置,我们可以在其中将数据从 s3 移动到 Redshift - 但使用专门命名的文件。但是,在这种情况下,文件名可以是随机的。我正在考虑类似的事情

  • 假设我们有一个 s3 文件夹 s3://toProcess
  • 数据管道作业每小时检查 s3://toProcess 中是否有新文件
  • 如果有,则处理并删除它们(因此它不会在下一小时处理它们)

对如何完成这项工作有任何想法吗?

【问题讨论】:

    标签: amazon-web-services amazon-data-pipeline


    【解决方案1】:

    创建新的AWS Data Pipeline 时,可以选择使用预定义模板。对于您所需要的,Load Data from S3 Into Redshift 模板应该可以帮助您完成大部分工作。您需要添加一个类似于 described here 的 Activity 来删除这些文件。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2017-05-21
      • 1970-01-01
      • 1970-01-01
      • 2018-04-25
      • 2019-02-16
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多