如何仅将更新的文件/文件夹从 aws s3 存储桶复制到本地机器？

Question

我需要将某些文件从 S3 存储桶复制到本地计算机。以下是我的要求需要注意的要点：

• 文件根据日期文件夹保存在 S3 存储桶中。
• 文件位于csv.gz 扩展名中，我需要将其更改为csv 并将其复制到我的本地计算机。
• 它每分钟都在更新，我只需要复制新文件并处理它。处理后的文件无需再次复制。

我曾尝试使用同步文件夹，但在处理文件后，文件名被重命名，并且 csv.gz 文件再次与本地文件夹同步。

我打算使用一些计划任务来控制。

Answer 1

Amazon S3 是一种存储服务。它无法为您“处理”文件。

如果您希望更改文件的内容（例如从.csv.gz 转换为.csv），您需要在本地计算机上自行完成。

AWS Command-Line Interface (CLI)aws s3 sync 命令可以轻松复制自上一个sync 以来已更改/添加的文件。但是，如果您在本地更改文件（解压缩），那么您可能需要编写自己的程序以从 Amazon S3 下载。

有适用于流行编程语言的 AWS 开发工具包。您还可以通过网络搜索找到使用 Amazon S3 的示例代码。