【问题标题】:HDFS default block size is 128 MB while Hive default stripe size is 250 MBHDFS 默认块大小为 128 MB,而 Hive 默认条带大小为 250 MB
【发布时间】:2019-03-12 18:16:17
【问题描述】:

HDFS 块大小默认为 128 MB(来源:https://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml)

Hive 条带大小默认为 250 MB(来源:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC#LanguageManualORC-FileStructure)

据我了解,1 个条带必须完全适合 HDFS 的 1 个块。

我在这里遗漏了什么吗?我有不正确的信息吗?

您是否只需将 HDFS 配置为具有 250 MB 块以适应条带?

【问题讨论】:

    标签: hadoop hive hdfs bigdata


    【解决方案1】:

    Orc 文件格式可在条带级别拆分。这意味着不需要将一种条带大小放入一个块中。

    HDFS 块大小在文件级别,无论其格式如何。

    【讨论】:

    • 那么一个条带可以存储在 2 个或更多 HDFS 块上吗?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-01-06
    • 2022-07-01
    • 1970-01-01
    • 2023-04-03
    • 2020-07-29
    相关资源
    最近更新 更多