用于分布式计算的 Amazon EFS 与 S3答案

【问题标题】：Amazon EFS vs S3 for distributed computing用于分布式计算的 Amazon EFS 与 S3
【发布时间】：2019-05-09 22:46:50
【问题描述】：

我有一个大数据问题，我想分布在 20 个 EC2 实例上。我的数据集是在本地生成的，我想对它进行切片以便分布在我的所有 EC2 实例中。我不太了解块存储与文件存储与对象存储之间的区别，但对我来说，能够在所有 EC2 实例上挂载 EFS 似乎比将数据从 S3 复制到单个实例的性能更高。这个假设是否正确，如果正确，有没有办法在不使用 Amazon 提供的 DataSync 系统的情况下将数据上传到 EFS？

【问题讨论】：

为什么要复制，为什么不直接从S3访问呢？ EFS 具有低延迟和区域感知能力，而 S3 可以从任何具有高延迟的地方访问。
您可以考虑使用 AWS 的 EMR 服务并使用其中一种 hadoop 技术来管理您的分布式处理，而不是自己使用 EC2 实例执行此操作。 EMR 可以将您的数据放在 S3 中，并让一组机器并行运行来处理它。

标签： amazon-web-services amazon-s3 amazon-ec2 amazon-efs

【解决方案1】：

S3 就像一个 Web 服务器。您将文件上传到它并从中下载文件，但您不能直接在服务器上修改文件。你必须下载它，然后修改，然后再放回去。

EFS，即 NFSv4，就像一个磁盘。您可以直接编辑文件。它也比 S3 贵得多。要将文件上传到 EFS，您可以像普通磁盘一样将其挂载到 EC2 实例上。

也就是说，对于您正在尝试做的事情，正确答案似乎是使用 EMR，例如 JD D suggested。

【讨论】：

【解决方案2】：

这取决于您的特定用例和软件，但这里有一些基本指南

S3 是对象存储。 S3 上的数据通过 HTTP(s) 提供给您的机器
EFS是文件系统存储，使用NFSv4协议

EFS 比 S3 贵得多，只是为了保存并从中读取

这是已经在 Stack 上进行的比较 AWS EFS vs EBS vs S3 (differences & when to use?)

【讨论】：