列出 AWS S3 存储桶的特定“文件夹”中的文件

Question

我需要列出我的 S3 存储桶中某个文件夹中包含的所有文件。

文件夹结构如下

/my-bucket/users/<user-id>/contacts/<contact-id>

我有与用户相关的文件和与某个用户的联系人相关的文件。 我需要同时列出两者。

要列出我正在使用此代码的文件：

ListObjectsRequest listObjectsRequest = new ListObjectsRequest().withBucketName("my-bucket")
                .withPrefix("some-prefix").withDelimiter("/");
ObjectListing objects = transferManager.getAmazonS3Client().listObjects(listObjectsRequest);

为了列出某个用户的文件，我使用了这个前缀：

users/<user-id>/

并且我正确地获取了目录中除contacts 子目录之外的所有文件，例如：

users/<user-id>/file1.txt
users/<user-id>/file2.txt
users/<user-id>/file3.txt

为了列出某个用户联系人的文件，我使用了这个前缀：

users/<user-id>/contacts/<contact-id>/

但在这种情况下，我也得到了 目录本身作为返回的对象：

users/<user-id>/contacts/<contact-id>/file1.txt
users/<user-id>/contacts/<contact-id>/file2.txt
users/<user-id>/contacts/<contact-id>/

为什么我会出现这种行为？两个列表请求之间有什么不同？我只需要列出目录中的文件，不包括子目录。

Answer 1

虽然每个人都说 s3 中没有目录和文件，但只有对象（和存储桶），这是绝对正确的，但我建议利用 this 答案中描述的 CommonPrefixes。 因此，您可以执行以下操作来获取“文件夹”（commonPrefixes）和“文件”（objectSummaries）的列表：

ListObjectsV2Request req = new ListObjectsV2Request().withBucketName(bucket.getName()).withPrefix(prefix).withDelimiter(DELIMITER);
ListObjectsV2Result listing = s3Client.listObjectsV2(req);
for (String commonPrefix : listing.getCommonPrefixes()) {
        System.out.println(commonPrefix);
}
for (S3ObjectSummary summary: listing.getObjectSummaries()) {
    System.out.println(summary.getKey());
}

在您的情况下，对于 objectSummaries（文件），它应该返回（如果前缀正确）：
users/user-id/contacts/contact-id/file1.txt
users/user-id/contacts/contact-id/file2.txt

对于 commonPrefixes：
users/user-id/contacts/contact-id/

参考：https://docs.aws.amazon.com/AmazonS3/latest/API/API_ListObjectsV2.html

Answer 2

S3 中的一切都是对象。对您来说，它可能是文件和文件夹。但对于 S3，它们只是对象。

以分隔符结尾的对象（大多数情况下为/）通常被视为文件夹，但并非总是如此。这取决于应用程序。同样，在您的情况下，您将其解释为文件夹。 S3 不是。这只是另一个对象。

在上述情况下，对象users/<user-id>/contacts/<contact-id>/ 作为不同的对象存在于 S3 中，但对象 users/<user-id>/ 不存在。这就是你的反应的不同。为什么它们会这样，我们不能告诉你，但在一种情况下有人制造了这个物体，而在另一种情况下却没有。您在 AWS 管理控制台中看不到它，因为控制台将其解释为文件夹并将其隐藏。

由于 S3 只是将这些事物视为对象，因此它不会为您“排除”某些事物。由客户来处理应该处理的对象。

您的解决方案

由于您是不想要文件夹对象的人，您可以通过检查/ 的最后一个字符来自行排除它。如果是，则忽略响应中的对象。

Answer 3

您可以检查类型。 s3 有一个特殊的application/x-directory

bucket.objects({:delimiter=>"/", :prefix=>"f1/"}).each { |obj| p obj.object.content_type }

Answer 4

如果您的目标只是获取文件而不是文件夹，我采用的方法是使用文件 size 作为过滤器。此属性是 AWS 托管的文件的当前大小。所有文件夹在该属性中返回 0。 以下是使用 linq 的 C# 代码，但翻译成 Java 应该不难。

var amazonClient = new AmazonS3Client(key, secretKey, region);
var listObjectsRequest= new ListObjectsRequest
            {
                BucketName = 'someBucketName',
                Delimiter = 'someDelimiter',
                Prefix = 'somePrefix'
            };
var objects = amazonClient.ListObjects(listObjectsRequest);
var objectsInFolder = objects.S3Objects.Where(file => file.Size > 0).ToList();

Answer 5

正如其他人已经说过的，S3 中的一切都是对象。对您来说，它可能是文件和文件夹。但对于 S3，它们只是对象。

如果您不需要以“/”结尾的对象，您可以安全地删除它们，例如通过 REST api 或 AWS Java SDK（我假设您具有写入权限）。您不会丢失“嵌套文件”（没有文件，因此您不会丢失名称以您删除的键为前缀的对象）

AmazonS3 amazonS3 = AmazonS3ClientBuilder.standard().withCredentials(new ProfileCredentialsProvider()).withRegion("region").build();
amazonS3.deleteObject(new DeleteObjectRequest("my-bucket", "users/<user-id>/contacts/<contact-id>/"));

请注意，我使用的是ProfileCredentialsProvider，因此我的请求不是匿名的。否则，您将无法删除对象。我的 AWS 保留密钥存储在 ~/.aws/credentials 文件中。

Answer 6

S3 没有目录，虽然您可以像演示的那样以伪目录方式列出文件，但本身没有目录“文件”。
您可能无意中创建了一个名为users/<user-id>/contacts/<contact-id>/ 的数据文件。

Answer 7

基于@davioooh 的回答。 这段代码对我有用。

ListObjectsRequest listObjectsRequest = new ListObjectsRequest().withBucketName("your-bucket")
            .withPrefix("your/folder/path/").withDelimiter("/");