Python pickle.load() 抛出 FileNotFoundError

Question

我遇到了一个奇怪的问题，Python 会成功找到并读取存在的二进制文件，但 pickle.load() 不会。 pickle.load() 正在抛出一个没有多大意义的 FileNotFoundError。我知道该文件确实存在，因为如果我尝试读取文件的内容，我就可以。

try:
    with open("test", "rb") as f:
        print(f.read())
        data = pickle.load(f)

except FileNotFoundError as e:
    print(e)

几个小时以来，我一直在努力解决这个问题，但我就是不明白这里发生了什么。我有相当多的 Python 份额，但从未发生过这种情况。使用 VSCode 和 WSL (Ubuntu 20.04) 在 Windows 10 上工作。

编辑：我知道这个特定的代码不起作用，因为我首先使用 f.read() 阅读。我只是把它放在那里表明它有效，我只想pickle.load()它。

编辑：回溯是这样的：

Traceback (most recent call last):
  File "/mnt/d/_/Projects/FCUL/SO/pgrepwc/v2/hpgrepwc.py", line 34, in main
    data = pickle.load(f)
  File "/usr/lib/python3.8/multiprocessing/managers.py", line 959, in RebuildProxy
    return func(token, serializer, incref=incref, **kwds)
  File "/usr/lib/python3.8/multiprocessing/managers.py", line 809, in __init__
    self._incref()
  File "/usr/lib/python3.8/multiprocessing/managers.py", line 863, in _incref
    conn = self._Client(self._token.address, authkey=self._authkey)
  File "/usr/lib/python3.8/multiprocessing/connection.py", line 502, in Client
    c = SocketClient(address)
  File "/usr/lib/python3.8/multiprocessing/connection.py", line 630, in SocketClient
    s.connect(address)
FileNotFoundError: [Errno 2] No such file or directory

根据要求，我的目录列表：

prgrepwc:
    |
    |   histFile1
    |   histFile2
    |   .gitattributes
    |   .gitignore
    |   testFile
    |
    +---.vscode
    |       launch.json
    |       settings.json
    |
    |
    \---v2
        |
        |   testFile
        |   histFile
        |   hpgrepwc.py
        |   Load.py
        |   Match.py
        |   pgrepwc_v2.py
        \-- README.txt

我正在执行的文件是文件夹v2 中的hpgrepwc.py。我要读取的文件是二进制文件testFile。我注意到即使我的脚本在文件夹v2 中，有时它默认为pgrepwc，所以我什至在其中放置了testFile 的副本以防万一。无论如何都没有骰子，我也尝试将文件保存为.bin，但无济于事。

解决方案：

@tdelaney 提到：

"(...) 它看起来像是在 multiprocessing.Manager 中创建的某个对象 被腌制了。但这些对象实际上是广播的代理 对一组子流程的更改，并且在此之外无效 语境。在您的情况下， unpickler 试图重建一个类 试图重新连接到其早已死去的多处理合作伙伴。 您需要查看进行酸洗的代码并找出一些 其他封装数据的方式。”

就是这样。我在代码中大量使用multiprocessing.Manager 作为共享内存数据结构。在将 manager.dict() 转换为普通的 Python dict 之后，酸洗和解酸就像一个魅力。再次感谢所有做出贡献的人，尤其是@tdelaney。

Answer 1

确保您的类或对象中没有 multiprocessing.Manager 对象。我的对象中有一个 multiprocessing.Manager().dict() 。所以我用普通的 dict 替换了它，现在一切正常。

Answer 2

因此建议对扩展名为.pkl 或.pickle 的文件进行腌制。

所以先用扩展名重新转储文件。

with open('test.pickle', 'wb') as f:
    pickle.dump(your_contents, f)

然后将loading 部分更改为：

try:
    with open("test.pickle", "rb") as f:
        print(f.read())
        data = pickle.load(f)

except FileNotFoundError as e:
    print(e)

python 函数open 将读取带有扩展名的文件。只有当文件本身没有扩展名时，您才能排除扩展名。