【问题标题】:EBS storage for EMR用于 EMR 的 EBS 存储
【发布时间】:2018-10-26 06:32:22
【问题描述】:

有人可以澄清一下在 EMR 集群(transcient / on-demand cluster)中拥有 EBS 卷的用例是什么。

在 EMR 中使用 EBS 卷有什么好处?因为 EBS 也会随着 EMR 集群的终止而被删除。

我计划设置一个 EMR 集群来运行基于 Spark 的 ETL 作业,请寻找一些输入。我可以使用 EMRFS/S3,但只是想知道为什么我们在 EMR 中有 EBS。

谢谢。

【问题讨论】:

    标签: amazon-web-services amazon-s3 emr amazon-emr aws-ebs


    【解决方案1】:

    EMR 支持的某些 EC2 实例类型除了支持 EBS 之外没有任何存储(例如 c4 和 m4 系列)。在这种情况下,实例需要 EBS 才能与 EMR 一起使用,并且每个实例都将附加 10 GB 的默认卷,除非您指定更大的卷。

    当然,如果您需要超出实例提供的额外存储空间,EBS 也可以与已经包含存储空间的其他实例类型一起使用。

    有关 EMR 和 EBS 的更多信息,请参阅https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-storage.html

    【讨论】:

    • 谢谢,我错过了没有临时存储的实例类型。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2010-10-13
    • 1970-01-01
    • 1970-01-01
    • 2023-03-27
    相关资源
    最近更新 更多