如何为分段上传 S3 触发器仅触发一次 Lambda？

Question

我有一个 AWS Lambda 函数：

1. 对S3 ObjectCreated 触发器作出反应
2. ssh 进入 ec2 实例并
3. 运行python脚本

然后，此 python 脚本将运行 EMR 来处理所有这些刚刚创建的 S3 零件文件。 （是的，文件必须联合处理。）

但是，部分文件（file_part_0000、file_part_0001、file_part_0002 等）被创建为分段上传。

Lambda Event: {..., "eventName": "ObjectCreated:CompleteMultipartUpload", ...}

据我了解，此触发器将强制 Lambda 使用 ssh 并运行 python 脚本的次数与零件文件的次数一样多。我只希望 Lambda SSH 并运行脚本一次。

有没有办法让 Lambda 为每个“系列”分段上传触发一次？

Answer 1

如Configuring Amazon S3 Event Notifications中所述

您将不会收到来自失败操作的事件通知。

事件调用s3:ObjectCreated:CompleteMultipartUpload是有原因的，只有当您的分段上传完全时，该事件才会触发。

另一方面，也许您应该触发 S3 事件以向 SQS 发送信息。所以你可以让你的python程序可以看SQS队列和处理文件。使用 SQS，您无需进行无密码设置或将私钥存储在 lambda 中即可对服务器进行 ssh。