从 R 中的 AWS S3 存储桶获取最后修改的文件

Question

我有一个使用 API 数据实时更新的 S3 存储桶。文件以 .XXX 格式保存，其中 xxx 为 1...n。

我的 R 脚本需要能够获取最新文件并将它们添加到分析数据框中。到目前为止，我一直在使用 aws.s3 包。设置环境密钥/访问密钥后：

mybucket <- get_bucket("mybucket1")

返回一个包含 1000 个元素（可能更多）的 s3 对象，看起来每个对象都有 Contents:list if 7，其中一个是 $LastModified。如何获取上次修改文件的名称？

Mybucket     Large s3_bucket (1000 elements, 2.1Mb)
contents:List of 7
..$ Key : chr "folder1"
..$ LastModified: chr "2018-01-16T09:58:47.000Z"
..$ ETag : chr "\" nnnnnnnnnnn\""
etc (.. $Owner, $Storage class, $bucket, $-attr)
contents: List of 7
..$ Key : chr "folder1/file.1
..$ LastModified: chr "2018....etc"
..$ ETag : chr "...etc..."
etc....
contents: List of 7
etc.....

实际上是“文件”之后的数字。我需要的（在本例中为 1）。

经过实验，我认为通过 RCurl 使用 CLI 命令会是一个更好的选择。

aws s3 ls s3://mybucket --recursive | grep APIdata@symbol=XXX&interval=5.1*

这让我非常接近，但该命令省略了“&interval=5.1*”，因此它返回了所有带有“APIdata@symbol=XXX*”的对象

Answer 1

最简单的方法是使用系统命令：

currentfile <- system("aws s3 ls s3://bucket/folder --recursive | grep 'file.16' | sort | tail -n 1 | awk '{print $4}'", intern=TRUE)

grep 抓取存在“file.16”的文件，这大大缩小了搜索范围，因为当前文件列表位于 1600 年代。 Intern=TRUE 保存响应，在这种情况下将其作为字符串保存在 'currentfile' 中。按修改日期排序、拖尾和打印 $4 订单文件，取最后修改的第 4 列（名称）。

供参考：Downloading the latest file in an S3 bucket using AWS CLI?

Answer 2

我认为您的问题与 AWS S3 无关，我会将其归类为 如何从列表列表中创建 data.frame，并且对此已有答案，例如。 g.：

R list of lists to data.frame

我的解决方案使用 data.table 包中的方便 rbindlist。

我不得不猜测Mybucket 的数据类型，但解决方案可能如下所示：

# https://cran.r-project.org/web/packages/aws.s3/aws.s3.pdf
# get_bucket: returns a list of objects in the bucket (with class “s3_bucket”)
library(data.table)
library(lubridate)

# my personal assumption of the output of "get_bucket" is list of list (I have no S3 at hand to verify this)
Mybucket <- list(  list(Key = "folder1/file.1", LastModified = "2018-01-16T09:58:47.000Z", ETag = "\" nnnnnnnnnnn\"")
                 , list(Key = "folder2/file.2", LastModified = "2018-01-16T08:58:47.000Z", ETag = "xyz"))

dt <- rbindlist(Mybucket)  # convert into a data.table (enhanced data.frame)

dt[, LastModAsDate := ymd_hms(LastModified)]  # add a data column

dt.most.recent <- dt[order(-dt$LastModAsDate),][1]  # order by date descending, then pick the top-most row

导致

> dt.most.recent
              Key             LastModified           ETag       LastModAsDate
1: folder1/file.1 2018-01-16T09:58:47.000Z " nnnnnnnnnnn" 2018-01-16 09:58:47

请注意，日期转换可能会降低精度（毫秒），但无论如何都会勾勒出整体解决方案...

要提取文件扩展名中包含的数字，请使用：

tools::file_ext(dt.most.recent$Key)
# [1] "1"