关于反序列化一些数字的问题（错误？？）

Question

为了反序列化字节对象，我们使用pickle.loads()

import pickle
import numpy as np
pickle.loads(np.float64(0.34103))

并且预期的结果如下（因为 np.float64(0.34103) 不是字节对象，预计会出现适当的错误）

---------------------------------------------------------------------------
UnpicklingError Traceback (most recent call last)
<ipython-input-19-5c07606a60f1> in <module>
----> 1 pickle.loads(np.float64(0.34103))

UnpicklingError: invalid load key, '\xc1'.

这里我们有一些问题，像 0.34104 这样的数字（很少见）打印出以下结果而没有错误。

pickle.loads(np.float64(0.34104))

True

仅当转换后的字节以 b'\x88 开头时才会发生这种情况（例如 0.04263、0.08526、0.11651 ...）

np.float64(0.34104).tobytes()

b'\x88.\xa8o\x99\xd3\xd5?'

谁能回答这个问题是否是Python错误？

任何答案都将受到高度赞赏。

Answer 1

pickle.loads 的输入并不完全限制为 bytes 对象。引用docs，

返回对象的腌制表示数据的重构对象层次结构。 数据必须是bytes-like object。

并引用“类似字节的对象”docs，

支持Buffer Protocol 并可以导出 C 连续缓冲区的对象。

缓冲区协议是对象将其底层内存缓冲区暴露给其他代码的一种方式，对于有意义的对象。 NumPy 数组支持缓冲区协议，允许其他代码对数组的底层存储进行操作，而不是通过昂贵的 Python 级索引操作和包装对象。 NumPy 标量也支持缓冲区协议，以尽可能无缝地处理 0 维数据。

---

pickle.loads(np.float64(0.34103)) 的错误不是因为np.float64(0.34103) 不是字节。如果你试图传入一个普通的float，你会得到一个 TypeError，因为类型无效（floats 不是字节类），但是使用np.float64(0.34103)，你得到的错误是因为@987654332 @尝试读取np.float64(0.34103)的缓冲区，发现里面的数据不是有效的pickle。

使用np.float64(0.34104)，缓冲区的内容确实恰好是一个有效的pickle。侥幸的是，这些字节恰好匹配一个 NEWTRUE 操作码、一个 STOP 操作码和被忽略的尾随垃圾。 NEWTRUE 将 True 压入 pickle 堆栈，STOP 停止 pickle 执行，并返回 True。

Answer 2

这不是 Python 错误。 pickle.loads 可与任何 bytes-like object 一起使用，而 numpy 浮点数就是其中之一。
从这开始，这就是字节的工作方式：字节表示没有类型的原始数据。代表 numpy float 0.34104 的 8 个字节恰好与代表 Python pickle True 的一些 8 个字节匹配，这纯属巧合。

对于特定的 pickle 协议 2，b'\x88.\xa8o\x99\xd3\xd5?' 恰好是 True、End-Of-Pickle 和被忽略的尾随垃圾的操作码。

>>> pickletools.dis(b'\x88.\xa8o\x99\xd3\xd5?')
    0: \x88 NEWTRUE
    1: .    STOP

---

例如“numpy float 0.34104”的字节模式也匹配小端无符号/有符号Python整数4599815250385579656，大端无符号Python整数9812965835362522431，大端有符号Python整数-8633778238347029185， latin1 字符串'\x88.¨o\x99ÓÕ?' 和许多其他值。

>>> int.from_bytes(np.float64(0.34103), byteorder='big', signed=False)
13915064561919317311