【问题标题】:Use SSD for SPARK RDD将 SSD 用于 SPARK RDD
【发布时间】:2015-04-21 14:50:28
【问题描述】:

我想知道如何使用 SPARK RDD 的 ssd。

原来,SPARK RDD 在内存中使用。

但我想将 ssd 用于 RDD。

【问题讨论】:

    标签: apache-spark rdd solid-state-drive


    【解决方案1】:

    查看link

    检查 RDD Persistence 并选择存储级别为 DISK_ONLY

    也建议查看this

    【讨论】:

    • 感谢您的评论。我还有一个问题。如果我选择存储杆为 DISK_ONLY ,那将是 rdd 在 SSD 中制作的?
    • 当你持久化一个 RDD 时,每个节点都会将它计算的所有分区存储在内存中,并在对该数据集(或从它派生的数据集)的其他操作中重用它们。因此,当您调用 rdd.persist() 或 red.cache 时,rdd 将存储在 SSD 如果您选择 DISK_ONLY
    猜你喜欢
    • 2015-02-10
    • 1970-01-01
    • 1970-01-01
    • 2021-07-01
    • 2016-01-20
    • 1970-01-01
    • 2015-02-27
    • 1970-01-01
    • 2017-04-22
    相关资源
    最近更新 更多