下载和解压缩 Heroku 和 S3 文件的流程？答案

【问题标题】：Flow for downloading and unzipping files for Heroku and S3?下载和解压缩 Heroku 和 S3 文件的流程？
【发布时间】：2013-06-30 05:06:33
【问题描述】：

我正在处理 Apple 的 iTunes EPF 数据文件。我每天需要下载、解压缩然后处理 .tbz 文件中的 1-3GB 数据。

我有一个 Rails 应用程序，托管在 Heroku 上，大部分资产存储在 S3 上。

但我遇到的问题是从 Apple 获取 EPF 文件的流程。

我将下载 3 个文件。每个都是 .tbz 文件，大小从 1GB 到大约 20MB 不等。

Heroku 没有办法可靠地存储文件，所以我假设我需要将文件直接下载到 S3？那我会在那里解压吗？

这就是我遇到障碍的地方。我知道如何真正从 Apple 获取文件并传输到 S3，但我不关注解压缩它们。

而且由于数据文件可能非常大，因此最大限度地减少通过 S3 的传输对于降低成本至关重要。

是否有服务可以让我将 Apple 文件下载到他们的服务器，解压缩，然后将必要的文件上传到 S3？

【问题讨论】：

标签： ruby-on-rails heroku amazon-s3 zip

【解决方案1】：

Heroku 的 file system is ephemeral，但您仍然可以写信到 /tmp 作为临时暂存空间来下载、解压缩、执行您需要的任何处理、重新打包（如果需要），然后上传到 S3。由于automatic dyno restarts（或手动重启），只要确保您的服务知道如何在中断时正常恢复即可。

【讨论】：

对...但就像我提到的...我没有关注如何解压缩文件。无论是在 Heroku 还是 S3 上。
你会在 Heroku 上这样做。听起来你正在使用 Ruby，所以像 rubyzip 这样的东西会起作用。