从 python 程序中禁用哈希随机化

Question

从 Python 3.3 开始，哈希算法是非确定性的salted 以避免某种攻击。这对网络服务器来说很好，但在尝试调试程序时会很痛苦：每次我运行我的脚本时，dict 内容都会以不同的顺序迭代。

一些早期版本的 python 有一个-R 标志用于启用散列随机化，但现在它是默认行为，该标志并没有被它的反面取代。 可以通过设置环境变量PYTHONHASHSEED来禁用随机化：

PYTHONHASHSEED

如果此变量未设置或设置为随机，则使用随机值作为 str、bytes 和 datetime 对象的哈希值的种子。
如果 PYTHONHASHSEED 设置为整数值，则将其用作固定种子，用于生成散列随机化涵盖的类型的 hash()。

关键是这个变量必须在启动 python 进程之前设置。我尝试使用os.putenv() 或os.environ 设置它，但这些似乎对散列方法没有影响。这并不奇怪：我不希望 python 在每个集合或字典查找之前检查环境！所以，问题仍然存在：

python 程序有没有办法禁用自己的哈希随机化？

Answer 1

除了字典顺序之外，散列随机化还可能破坏直接使用hash() 的现有代码。在这种情况下为我解决问题的解决方法是替换

hash(mystring)

与

int(hashlib.sha512(mystring).hexdigest(), 16)

对于 Python 3，标准字符串需要像 mystring.encode('utf-8') 这样的转换。 （我正在处理字节字符串。）

请注意，数字的范围和是否包含负数是不同的。后一个代码给出了更大范围的数字，并且哈希冲突极不可能发生。

要重现与hash() 相同的 64 位范围，可以将十六进制数字的数量减少到 16（每个数字 4 位）并将结果转移到最小的负 64 位数字开始：

int(hashlib.sha256(mystring).hexdigest()[:16], 16)-2**63

或者，一个可以占用 8 个字节并使用 int.from_bytes：

int.from_bytes(hashlib.sha256(mystring).digest()[:8], byteorder='big', signed=True)

Answer 2

也许唯一/最干净的方法是将其添加到程序的开头：

import os
import sys
hashseed = os.getenv('PYTHONHASHSEED')
if not hashseed:
    os.environ['PYTHONHASHSEED'] = '0'
    os.execv(sys.executable, [sys.executable] + sys.argv)

[the rest of your program]

如果PYTHONHASHSEED 丢失，它会将其设置为零并用新程序替换当前程序，提供相同的参数集。 根据os.execv：

这些函数都执行一个新程序，替换当前的 过程;他们不回来。在 Unix 上，新的可执行文件被加载 进入当前进程，并且将具有与当前进程相同的进程 ID 呼叫者。错误将被报告为 OSError 异常。

当前进程立即被替换。打开文件对象和 描述符不会被刷新，所以如果可能有数据缓冲在这些 打开文件，您应该使用 sys.stdout.flush() 或 os.fsync() 在调用 exec* 函数之前。

Answer 3

不幸的是，我怀疑这是不可能的。查看test_hash.py HashRandomizationTests 类及其后代已添加到commit that introduced this behavior 中。他们通过修改环境并使用显式设置的PYTHONHASHSEED 启动新进程来测试散列行为。也许你可以尝试复制这种模式。

我还刚刚注意到你说“每次我运行我的脚本时，dict 内容都会以不同的顺序迭代。”- 我假设你知道collections.OrderedDict，对吧？这是获得可靠哈希迭代的正常方法。

---

如果您愿意在您的 shell 环境中设置该值，您也可以将您的 python 调用包装在一个 bash 脚本中，例如

#! /bin/bash
export PYTHONHASHSEED=0

# call your python program here

这避免了需要操纵整个环境，只要你对包装脚本没问题。

或者甚至只是在命令行上传递值：

$ PYTHONHASHSEED=0 python YOURSCRIPT.py