从 Amazon S3 读取的 Scala 数据

Question

我一直在努力使用 Scala 读取存储在 S3 上的一个存储桶中的嵌套文件夹。 我用我的凭据编写了脚本。在存储桶中 - 有很多文件夹。假设一个文件夹名称是“folder1”。在这个文件夹中有很多子文件夹等等。我想获取文件夹 1 的每个子文件夹（其中的每个子文件夹）的名称。

val yourAWSCredentials = new BasicAWSCredentials(AWS_ACCESS_KEY, AWS_SECRET_KEY)   
val amazonS3Client = new AmazonS3Client(yourAWSCredentials)

print(amazonS3Client.listObjects(bucketName,"folder1").getObjectSummaries())

但这不会返回我需要的结构。可能有更简单的方法来获取路径？

Answer 1

Amazon S3 不是常规的分层文件系统。它实际上没有文件夹。

您需要了解 S3 前缀和分隔符。见Listing Keys Hierarchically Using a Prefix and Delimiter。

另见Max files per directory in S3。