加载泡菜时出错

Question

无法加载 pickle 文件。我正在使用 python 3.5

import pickle
data=pickle.load(open("D:\\ud120-projects\\final_project\\final_project_dataset.pkl", "r"))

TypeError: 需要一个类似字节的对象，而不是 'str'

。 .

也试过了：

import pickle
data=pickle.load(open("D:\\ud120-projects\\final_project\\final_project_dataset.pkl", "rb"))

UnpicklingError: STRING 操作码参数必须被引用

。 .

即使使用 with 语句也会出现同样的错误

import pickle
with open("D:\\ud120-projects\\final_project\\final_project_dataset.pkl", "rb") as f:
    enron_data = pickle.load(f)

Answer 1

我使用的是windows 10和vscode，你应该去final_project_dataset.pkl文件，然后将选项CRLF改为LF然后保存文件然后UnpicklingError: the STRING opcode argument must be quoted错误就会消失。

将 CRLF 更改为 LF

然后保存 final_project_dataset.pkl 文件。

Answer 2

你肯定需要“rb”来读取文件，这就解决了第一个问题。

第二个问题（STRING 操作码参数）是因为文件没有 Unix 行结尾。您需要通过脚本运行 pkl 文件来转换它们。如果你看到这个帖子，有一个名为“dos2unix”的脚本会为你解决这个问题：

How to convert DOS/Windows newline (CRLF) to Unix newline (\n) in a Bash script?

Answer 3

如果整个脚本让你失望，那真的只需要一行：

import pickle
with open("D:\\path\\to\\file.data", "rb") as f:
    lines = [line.rstrip("\r\n") for line in f.readlines()]
    data = pickle.loads("\n".join(lines))

Answer 4

对我来说唯一的解决方法是（由 Github 中的 Monkshow92 回答）：

" pickle 文件必须使用 Unix 新行，否则至少 Python 3.4 的 C pickle 解析器会失败并出现异常：pickle.UnpicklingError: the STRING opcode argument must bequoted 我认为某些 git 版本可能会将 Unix 新行（'\n'）更改为 DOS 行（'\r\n'）。

您可以使用此代码将“word_data.pkl”更改为“word_data_unix.pkl”，然后在脚本“nb_author_id.py”上使用新的 .pkl 文件： dos2unix.txt

#!/usr/bin/env python
"""
convert dos linefeeds (crlf) to unix (lf)
usage: dos2unix.py 
"""
original = "word_data.pkl"
destination = "word_data_unix.pkl"

content = ''
outsize = 0
with open(original, 'rb') as infile:
    content = infile.read()
with open(destination, 'wb') as output:
    for line in content.splitlines():
        outsize += len(line) + 1
        output.write(line + str.encode('\n'))

print("Done. Saved %s bytes." % (len(content)-outsize))

dos2unix.py 改编自： http://stackoverflow.com/a/19702943

我发现的小调整是，将“r”模式更改为“rb”字节对象模式。 最后使用上面的 python 脚本转换所有 .pkl 文件以从 Dos 转换为 Unix！

回答链接：https://github.com/udacity/ud120-projects/issues/46 完整学分：Monkshow92