【问题标题】:What is the Maximum Size that a Text datatype can accept in Map Reduce program?Map Reduce 程序中 Text 数据类型可以接受的最大大小是多少?
【发布时间】:2014-09-05 19:30:52
【问题描述】:

为了执行 word Count Map Reduce 程序,我们使用 Text 作为 Key Value Pair 中 value 参数的数据类型。 Text 对象可以接受的最大尺寸是多少?

【问题讨论】:

    标签: mapreduce hadoop-streaming


    【解决方案1】:

    根据Apache Documentation长度的类型是整数。

    因此,我怀疑它会是 Integer 的最大值(大多数情况下是 2^31 - 1 个字符,大约 4GB)。

    但是,如果您从输入文件中获取“值”,它也会受到 mapreduce 作业的输入拆分的限制。

    【讨论】:

      猜你喜欢
      • 2019-03-15
      • 2019-08-18
      • 1970-01-01
      • 1970-01-01
      • 2019-03-12
      • 1970-01-01
      • 2011-08-31
      • 1970-01-01
      • 2010-11-26
      相关资源
      最近更新 更多