【问题标题】:Read a variable length integer from the supplied InputStream从提供的 InputStream 中读取可变长度整数
【发布时间】:2017-08-24 10:58:33
【问题描述】:

我在 Netflix Hollow 库代码 (https://github.com/Netflix/hollow) 上方查看了一下,发现这个函数我找不到任何意义(警告:我对 Java 不太了解)。 理论上,该函数从 InputStream 中返回一个变长整数。

/**
 * Read a variable length integer from the supplied InputStream
 */
public static int readVInt(InputStream in) throws IOException {
    byte b = (byte)in.read();

    if(b == (byte) 0x80)
        throw new RuntimeException("Attempting to read null value as int");

    int value = b & 0x7F;
    while ((b & 0x80) != 0) {
      b = (byte)in.read();
      value <<= 7;
      value |= (b & 0x7F);
    }

    return value;
}

我评论我的疑问:

1) Int value = b & 0x7F : 结果总是b,对吧?有什么意义?

2) while ((b & 0x80) != 0) : b & 0x80 的结果(如果b为整数,即编码为从0到9的十进制,十进制是48-57)总是0。因此,永远不会进入循环......

【问题讨论】:

  • 你好,托尼!关键点在这里:if b is an integer digit, coded in decimal...——不是。 b 这里用作纯byte,用于存储接收到的位。查看我的答案以获得更详细的解释。

标签: java utf-8 stream bit-manipulation inputstream


【解决方案1】:

老实说,在 Java 中找到如此低级的实现有点奇怪(恕我直言);这种逻辑在 C 程序和其他“接近金属”的语言中更为常见。但我猜想向数百万用户提供高效的流媒体并不是免费的 :)

bbyte,而不是整数。它被解释为 8 位。
0x8010000000,一个掩码,除高阶(“第一个”)之外的所有位都设置为零。
0x7F01111111,一个掩码除了第一个位之外,所有位都设置为一个。 0x80.
value 的倒数是我们要读取的整数值。这是一个int,在 Java 中是 4 个字节。所以最初是00000000000000000000000000000000

代码一个接一个地读取一个字节序列。它使用第一位作为终止标记(0 表示“最后一个字节”),并将其他 7 位连接到value。掩码仅用于评估这些位。所以b &amp; 0x80用于检查第一个位是否被设置,而b &amp; 0x7F用于将第一位设置为零并保持所有其他位的值。

例子:

  • 我们希望每个字节传输 24612135 个字节的数字。这是二进制的1011101111000110100100111
  • 我们将其拆分为 7 位组:0001011 1011110 0011010 0100111,并使每个组成为一个前导 1 的 8 位字节,除了最后一个将被标记为前导 0 的字节:10001011 11011110 10011010 00100111
  • 第一个字节被读取。所以b = 10001011。由于这不是0x80 (10000000),我们知道这将是一个有效的非空整数。
  • 我们丢弃第一位(b &amp; 0x7f00001011)并将value 设置为该位。现在value00000000000000000000000000001011
  • 现在这可能是一个单字节数字,因此我们必须检查第一位以了解是否应该继续阅读。 b &amp; 0x80 不为 0,所以我们进入循环读取更多字节。
  • 读取第二个字节。现在b = 11011110。丢弃第一位 (b &amp; 0x7f) 并将其他 7 位放入 value。但是value 已经设置了一些位,所以我们必须移动它们以腾出空间容纳更多的 7 位:value &lt;&lt;= 7。现在value00000000000000000000010110000000。通过使用按位或运算符value |= (b &amp; 0x7F),我们将最低 7 位设置为正确的值。现在value00000000000000000000010111011110
  • 第二个字节的第一位也没有设置为 0,所以我们再次循环第三个字节。相同的逻辑;现在value00000000000000101110111100011010
  • 第三个字节的第一位也没有设置为 0;再次循环第四个字节00100111。现在value00000001011101111000110100100111。这是我们打算发送的正确值。
  • 由于第四个字节的第一位确实设置为零,因此循环的中断条件现在评估为真,因此我们停止读取字节。

无论如何,我希望这对你有所帮助。

【讨论】:

  • 我有点懒得写下所有的小东西 - 很高兴有人过来并添加了这样的细节!
  • 谢谢。这是用笔在餐巾纸上解释只需要 5 分钟的事情之一,但是......用标记等翻译成答案很痛苦。:/
  • 没那么奇怪吧?此处的 Netflix api 正在读取二进制快照,并且所有内容都在堆内存中进行了优化。很酷的东西
【解决方案2】:

重点是:他们可能正在使用自己的“自己的”协议来确定如何使用流写入读取值。

在该协议中,值 0x80 具有特殊含义:“值结束”。

含义:“写入器”部分写入一个字节序列,然后放一个 0x80 表示后面不会再有字节了。然后:

while ((b & 0x80) != 0) {

在 0x8 时评估为 false?被读取。含义:如果设置了第一位,则“消息结束”。

换句话说:当您想从该流中读取一个 int 时;你得到的第一个字节是 0x80 - 然后:“对你没有价值”;因此例外。

然后你只是逐字节读取;然后将这些字节转换为结果 int 值 - 直到出现 0x80“值结束”标记字节。

【讨论】:

  • 但是要这样工作,他们必须将数字 0 到 9 编码为大于 0x80 的值,否则“与逻辑”将始终被评估为 0,并且永远不会进入循环。 .这是你的意思吗?
  • 我更新了我的答案:关键是:一个初始的 0x80 ...没有数字。以及稍后设置第一个位的任何其他位...表示值的结束。
猜你喜欢
  • 2016-05-16
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2021-07-02
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多