【发布时间】:2014-05-15 07:45:11
【问题描述】:
我对字节偏移值这个术语有点困惑,它在 Hadoop Map reduce 程序中被视为映射键。
首先,字节偏移值是多少?
第二,它是如何产生的,如何看待这个字节偏移值?
【问题讨论】:
标签: key byte offset key-value keyvaluepair
我对字节偏移值这个术语有点困惑,它在 Hadoop Map reduce 程序中被视为映射键。
首先,字节偏移值是多少?
第二,它是如何产生的,如何看待这个字节偏移值?
【问题讨论】:
标签: key byte offset key-value keyvaluepair
字节偏移量是从行首开始计数的字符数。
例如这一行
what is byte offset?
会有一个 19 的字节偏移量。这在 hadoop 中用作键值
【讨论】:
字节偏移量是从零开始的字节数。在谈到 Hadoop 时,一个字符或空格通常是一个字节。 但是,如果您想了解更多信息,请查看这个问题: How many bits in a character?
【讨论】:
基本上,偏移量是一个整数,用于查找相对于基地址的距离(绝对地址)。
假设一个文本文件包含以下数据
计算机科学世界
量子计算
现在第一行的偏移量为 0,hadoop 作业的输入将是 对于第二行,偏移量将是
每当我们将文本文件传递给 hadoop 作业时。它在内部计算字节偏移量。
【讨论】: