为什么我的滚动 adler32 校验和在 go 中不起作用？ （模算术）

Question

我正在实施 rolling 版本的 adler32 checksum。

这个answer 有助于仔细检查我的数学。但是我正在努力在 golang 中正确实现它。

我写了以下代码：

func roll(adler, n, leave, enter uint32) uint32 {
    a := adler & 0xffff
    b := adler >> 16

    a = (a + enter - leave) % MOD
    b = (b - n*leave - 1 + a) % MOD
    return b<<16 | a
}

它在各种输入上进行了测试，并且运行良好，直到我决定在随机数据上运行它。这是一个sample，它不起作用（我找到了几个）。

让我困惑的是，python 中的相同代码可以完美地处理这些输入：

def roll(adler, n, leave, enter):
    a = adler & 0xffff
    b = adler >> 16

    a = (a + enter - leave) % MOD
    b = (b - n*leave - 1 + a) % MOD
    return b<<16 | a

为了更好的衡量标准，我包括proof 这在 python 中有效。请注意，python 校验和与 go 校验和的非滚动版本匹配（并且该部分直接来自 go 核心库）。

我研究了所有其他有问题的样本的结果，发现我从未在校验和的最低有效位（“a”位）上犯错。此外，错误始终相同，等于0xe10000。我怀疑 go 如何处理对 uint32 整数的模运算的特殊性是造成这种情况的原因。

发生了什么以及如何修复我的代码？

Answer 1

我不知道去，但这里有一些可能性：

b := adler >> 16 change to b := (adler >> 16) & 0xffff

b = (b - n*leave - 1 + a) % MOD ... what happens if expression in () is negative?

return b<<16 | a ... check operator precedence; (b<<16)|a or b<<(16|a) ?

32-bit machine or 64-bit?

Answer 2

Python 中的整数是有符号的。您声明 golang 版本中的所有整数都是无符号的。这就是区别。

当从较小的无符号数中减去无符号数时，您会得到一个巨大的无符号数，它在除法时给出的余数与小的负差不同。换行时，实际上是在添加 2³²。 2³² mod 65521 是 225，或 0xe1，这就是为什么您会在 b 中看到这种差异。 b 计算更可能结束，但 a 也可能发生这种情况，如果 a 在该步骤恰好非常小。

根据@samgak 的评论，您还必须担心在不同语言中为有符号值定义的 % 运算符。因此，适用于不同约定的解决方案是通过在执行% MOD 之前添加尽可能多的MODs 来使值变为正数。对于a，只需添加MOD。对于b，添加(1 + n * leave / MOD) * MOD。

注意确保中间值不会溢出。如果 n*leave 大到足以包装正在使用的整数类型，则 go 中的代码可能会给出错误的结果。