是否可以在 Amazon S3 上压缩目录而不是下载 -> 压缩 -> 上传答案

【问题标题】：Is it possible to zip a directory on Amazon S3 instead of download -> zip -> upload是否可以在 Amazon S3 上压缩目录而不是下载 -> 压缩 -> 上传
【发布时间】：2023-03-17 17:18:01
【问题描述】：

我想将我的所有文件保存在 Amazon S3 上，并根据需要仅压缩目录，而不是需要从 S3 下载所有文件，对其进行压缩，然后将压缩文件上传到 S3。

目前我下载我的文件并将其压缩以上传。在搜索这个问题时我没有找到任何东西。

【问题讨论】：

S3 存储不像传统文件空间那样工作，如果这是您要问的。
您也许可以使用 lambda，但这只会从下载到您的计算机更改为在 aws 中的内容，因此性能可能更高。
在一定程度上回答了我的问题。我在问是否有一个命令可以处理压缩过程。我知道它有存储桶设置。
@mavriksc 你能解释一下什么是 Lambda（关于 AWS）吗？我想我还没见过这个词。
stackoverflow.com/questions/38633577/… 这可能是你想要的。 aws.amazon.com/lambda

标签： java amazon-web-services amazon-s3

【解决方案1】：

Amazon S3 是一种对象存储服务。它没有压缩文件的能力。

您需要下载、压缩、上传文件。这可以在 Amazon EC2 实例上或通过 AWS Lambda 完成。

AWS Lambda 提供无服务器计算，这意味着您只需提供代码和激活触发器，代码就会运行。它实际上只是一个运行代码的短命容器。

但是，AWS Lambda 函数只有 500MB 的存储空间，因此您需要确保这足以存储原始文件和 zip 文件。确保 Lambda 函数在执行后删除这些文件，因为 Lambda 环境可以重复用于未来的执行。

AWS Lambda 可以使用许多不同的编程语言（例如 Python、Node、.Net）。如果您已获得使用权限，则它始终在 AWS 上可用。

见：

carloscarcamo/aws-lambda-unzip-py: AWS Lambda function to extract zip files uploaded to S3（解压缩而不是压缩，但这是一个很好的例子）

【讨论】：

谢谢。我认为这将是最好的解决方案，但我工作的公司没有 Lambda，所以我需要找到另一种解决方法。
所有 AWS 账户都有 Lambda。这只是分配使用它的权限的问题。

【解决方案2】：

如果您可以使用 Amazon S3 Glacier 来存储您的对象，那么您可以使用 Amazon S3 生命周期在“x”天后归档您的数据并将其复制到 Glacier。这也将帮助您节省成本。

见：How Do I Create a Lifecycle Policy for an S3 Bucket? - Amazon Simple Storage Service

【讨论】：