提高性能的 Amazon AWS S3 文件命名策略

Question

我目前正在使用以下命名方案：

/#{bucket_name}/#{customer_name}/fi/le/na/filename.jpg

因此，客户bent 的名为dsca007.jpg 的文件的图像将存储在这里：

/images/bent/ds/ca/00/dsca007.jpg

但我可以理解，S3 想要这样的不同形式：

来源：http://docs.aws.amazon.com/AmazonS3/latest/dev/request-rate-perf-considerations.html

来源：https://www.youtube.com/watch?v=uXHw0Xae2ww#t=535

我了解他们希望我将命名方案更改为：

/#{bucket_name}/fi/le/na/#{customer_name})filename.jpg

但随后他在 youtube 视频中展示了这张幻灯片：

这是否意味着我的第一种方法很好？

我真的更喜欢第一个结构，因为我能够获得一个客户拥有的文件列表，有没有办法列出具有最后提到的命名方案的客户下的所有文件？

运行以下命令也很容易计算出每个客户使用了多少存储空间：

s3cmd du s3://images/#{customer_name}

如何使用新的命名方案来做到这一点？

Answer 1

如果您在构建密钥时不使用某些唯一字符串，您很快就会遇到密钥覆盖问题。

dsca007.jpg 不是很独特。同名文件很有可能会上传到您的 s3 存储桶。 在这种情况下，您将丢失旧文件或出现错误，具体取决于您的配置。

例如这就是我们正在使用的： https://s3.amazonaws.com/bucket_name/user_media/videos/screenshots/cmXRyLRQxe9R139023426817_vid001.jpeg

其中前缀：cmXRyLRQxe9R139023426817_ 是我们在上传到 s3 之前构建并连接到原始文件名：vid001.jpg 的自生成字符串。