从 EC2 实例处理 AWS S3 中的数据

Question

我想知道从位于同一可用区的 Ec2 实例处理存储在 AWS S3 存储桶中的大量图像的最佳方法是什么。

我是否应该在每次必须处理它们时下载我需要的图像，然后在我完成时删除它们，并且每次我需要进行一些处理时都做同样的事情？

或者有没有更好的方法，比如将 S3 存储桶安装到 EC2 实例中？我见过像 Fuse 这样的安装工具，但我不确定这是否是处理数据的最佳方式。

Answer 1

首先。请注意，每个 EC2 实例都可以被终止，因此请将数据和结果保存在合理的存储中 - 例如 S3。

如果您将整个图像提取到内存中，然后进行处理。我看不到需要提取到磁盘。另一方面，如果图像很大 - 你可以多次获取每个部分。所以没有简单的答案，至少在没有更多信息的情况下。

您可以查看 map reduce 解决方案。他们如何处理将数据保持在处理单元附近的问题。 Spark 能够处理内存中的内容。

关于安装资源。还有其他选项，例如 Elastic File System 或 Elastic Block Storage - 可以挂载。