将 TWS 文件依赖项放在 AWS S3 存储文件上

Question

我有一个 ETL 应用程序，它应该迁移到 AWS 基础设施。我的应用程序中使用的调度程序是 Tivoli Work Scheduler，我们也希望在具有文件依赖关系的云上使用相同的调度程序。

现在，当我们转移到 aws 时，要监视的文件将落在 S3 存储桶中。我们可以将文件的 OPEN 依赖项放在 S3 中吗？如果是，主机名 (HOST#Filepath) 是什么？

如果不是，应调整哪些服务以达到目的。我的 SCHEDULES 中既有时间依赖性，也有文件依赖性。

例如。该文件可能会在凌晨 1 点上传到 S3。凌晨 3 点，我的日程安排将被触发，在 S3 存储桶中查找文件。如果存在，则开始执行，如果不存在，则应根据 tws 上的其他参数等待。

任何帮助或建议都会很高兴。

Answer 1

如果我理解正确，凌晨 3 点触发的作业将识别最后上传的所有文件，例如24 小时。

您可以列出所有 s3 文件以列出在特定时间段内上传的所有内容。

更好的解决方案是创建 S3 上传触发器，它将信息发送到 SQS 并让您的代码检查那里的深度（消息数量）并开始一一处理文件。另一个好处是可以确保所有项目都得到处理，而不必担心时间过长。