如何使用 Java 在 S3 中流式传输和解压缩大文件

Question

如何在事先不知道大小且不将其全部保存在内存中或写入磁盘的情况下解压缩 AWS S3 中的大文件？

Answer 1

nejckorasa/s3-stream-unzip 利用流下载和分段上传管理 AWS S3 中的数据解压缩。它可以在任何可以访问 S3（包括 AWS Lambda）的地方运行，它使用 Java S3 SDK 库连接到 S3。

解压缩是在事先不知道大小的情况下实现的，并且无需将其全部保存在内存中或写入磁盘。这使得它适用于大型数据文件 - 它已被用于解压缩大小为 100GB+ 的文件。

nejckorasa/s3-stream-unzip 在Maven Central 中可用。