【发布时间】:2014-09-05 19:30:52
【问题描述】:
为了执行 word Count Map Reduce 程序,我们使用 Text 作为 Key Value Pair 中 value 参数的数据类型。 Text 对象可以接受的最大尺寸是多少?
【问题讨论】:
标签: mapreduce hadoop-streaming
为了执行 word Count Map Reduce 程序,我们使用 Text 作为 Key Value Pair 中 value 参数的数据类型。 Text 对象可以接受的最大尺寸是多少?
【问题讨论】:
标签: mapreduce hadoop-streaming
根据Apache Documentation,长度的类型是整数。
因此,我怀疑它会是 Integer 的最大值(大多数情况下是 2^31 - 1 个字符,大约 4GB)。
但是,如果您从输入文件中获取“值”,它也会受到 mapreduce 作业的输入拆分的限制。
【讨论】: