我们有一个在 S3 上存储用户数据的应用。我们的应用程序中处理上传的部分与处理数据的部分是分离的。在某些情况下，用户可以直接将数据上传到 S3，而无需通过我们的应用程序（如果他们有自己的 S3 帐户并向我们提供凭据，则可能会发生这种情况）。
是否可以在 S3 存储桶的内容发生更改时收到通知？如果能以某种方式发送一条消息说“此文件已添加/更新/删除：foo”，那就太酷了。
除此之外，我是否可以在某个地方轮询某个时间戳来告知存储桶上次更新的时间？
如果我不能做这两件事，那么唯一的选择就是爬取整个存储桶并寻找更改。这将是缓慢且昂贵的。
【问题讨论】：
标签： amazon-s3 amazon-web-services
2014-11 更新：
正如 Alan Illing 在 cmets 中指出的，AWS 现在支持从 S3 到 SNS 的通知，可以自动转发到 SQS：http://aws.amazon.com/blogs/aws/s3-event-notification/
S3 还可以向 AWS Lambda 发送通知以直接运行您自己的代码。
预测 S3->SNS 通知的原始响应：
如果亚马逊支持这一点，他们将使用 SNS 发送通知，告知对象已添加到存储桶中。但是，目前，S3 和 SNS 支持的唯一存储桶事件是在 Amazon S3 检测到它已丢失减少冗余存储 (RRS) 对象的所有副本并且无法再为该对象的请求提供服务时通知您。
以下是 S3 支持的 SNS 事件的文档：
http://docs.amazonwebservices.com/AmazonS3/latest/dev/NotificationHowTo.html
根据文档的编写方式，亚马逊似乎对添加其他通知事件有想法（比如您可能想知道何时添加了新键）。
鉴于亚马逊不直接支持，将对象上传到 S3 的 S3 客户端将需要触发通知，或者您需要进行某种轮询。
上传到 S3 的自定义事件通知可以使用 SNS 完成，如果您希望获得近乎实时的更新进行处理，或者如果您希望让通知堆积起来并处理它们，则可以通过 SQS 完成按照自己的节奏排队。
如果您进行轮询，您可以减少需要请求的密钥数量，方法是让客户端上传前缀为“未处理/...”，后跟唯一密钥。然后，您的轮询软件可以仅查询以该前缀开头的 S3 密钥。当它准备好处理时，它可以将密钥更改为“处理/...”，然后再更改为“已处理/...”或其他任何内容。 S3 中的对象目前通过 S3 执行的复制+删除操作重命名。
【讨论】：