使用 AWS CLI 从 S3 获取最后修改的对象

Question

我有一个用例，我以编程方式启动一个 EC2 实例，从 S3 复制一个可执行文件，运行它并关闭实例（在用户数据中完成）。我只需要从 S3 获取最后添加的文件。

有没有办法使用AWS CLI 工具从 S3 存储桶中获取最后修改的文件/对象？

Answer 1

如果这是一个新上传的文件，您可以使用Lambda 在新的 S3 对象上执行一段代码。

如果你真的需要获取最新的，你可以先用日期命名你的文件，按名称排序，然后取第一个对象。

Answer 2

您可以使用aws s3 ls $BUCKET --recursive列出存储桶中的所有对象：

$ aws s3 ls $BUCKET --recursive
2015-05-05 15:36:17          4 an_object.txt
2015-06-08 14:14:44   16322599 some/other/object
2015-04-29 12:09:29      32768 yet-another-object.sh

它们按字母顺序按键排序，但第一列是最后修改时间。快速sort 将按日期重新排序：

$ aws s3 ls $BUCKET --recursive | sort
2015-04-29 12:09:29      32768 yet-another-object.sh
2015-05-05 15:36:17          4 an_object.txt
2015-06-08 14:14:44   16322599 some/other/object

tail -n 1 选择最后一行，awk '{print $4}' 提取第四列（对象的名称）。

$ aws s3 ls $BUCKET --recursive | sort | tail -n 1 | awk '{print $4}'
some/other/object

最后但同样重要的是，将其放入aws s3 cp 以下载对象：

$ KEY=`aws s3 ls $BUCKET --recursive | sort | tail -n 1 | awk '{print $4}'`
$ aws s3 cp s3://$BUCKET/$KEY ./latest-object

Answer 3

以下是 bash 脚本，它从 S3 存储桶下载最新文件。我改用 AWS S3 Synch 命令，这样它就不会从 S3 下载文件（如果已经存在）。

--exclude，排除所有文件

--include，包含所有匹配模式的文件

#!/usr/bin/env bash

    BUCKET="s3://my-s3-bucket-eu-west-1/list/"
    FILE_NAME=`aws s3 ls $BUCKET  | sort | tail -n 1 | awk '{print $4}'`
    TARGET_FILE_PATH=target/datdump/
    TARGET_FILE=${TARGET_FILE_PATH}localData.json.gz

    echo $FILE_NAME
    echo $TARGET_FILE

    aws s3 sync $BUCKET $TARGET_FILE_PATH --exclude "*" --include "*$FILE_NAME*"

    cp target/datdump/$FILE_NAME $TARGET_FILE

附言谢谢@大卫默里

Answer 4

aws s3api list-objects-v2 --bucket "bucket-name" |jq  -c ".[] | max_by(.LastModified)|.Key"

Answer 5

更新答案

过了一会儿有一个小更新，如何做的有点优雅：

aws s3api list-objects-v2 --bucket "my-awesome-bucket" --query 'sort_by(Contents, &LastModified)[-1].Key' --output=text

我们可以通过[-1]从列表中获取最后一个条目，而不是额外的reverse函数

---

旧答案

这个命令只是完成这项工作，没有任何外部依赖：

aws s3api list-objects-v2 --bucket "my-awesome-bucket" --query 'reverse(sort_by(Contents, &LastModified))[:1].Key' --output=text