如何有效地将二进制数据存储在 CSV 等文本格式的文件中？

Question

我目前正在使用 Python 编写密码存储程序，尽管 C 可能会更快。过去一个小时左右，我一直在尝试找到一种将字节对象存储在 CSV 文件中的方法。我正在用自己的盐对密码进行哈希处理，然后将其存储，然后再次抓取以检查密码。当它存储在内存中时，它工作得很好。

salt = os.urandom(64)
hash = hashlib.pbkdf2_hmac(
    'sha256',
    password.encode('utf-8'),
    salt,
    1000000
)
storage = salt + hash
salt_from_store = storage[:64]
hash_from_store = storage[64:]

但是，当我尝试将其存储在 CSV 文件中时，它不必一直运行，我得到一个错误，

TypeError: write() 参数必须是 str，而不是字节

所以，我使用，将它转换为字符串，

str(storage)

写得很好。但是，当我从文件中获取它时，它仍然是一个字符串，长度从 128（字节）到 300+（字符）。它也永远不一致。我不知道编码，所以我不能那样改变它，当我打印字节时，它是一堆带有反斜杠和 X 的字符

b'\xfd\x3a'

偶尔会出现一些随机的特殊字符。我不确定是否有办法将其转换为 int，然后将其转换回来。另一个问题是我找到了一种方法，通过改变

b"\xf1\x96"

到

"b\xf1\x96"

它打印编码的文本，而不是它组成的字节。但是，我不知道这是否是改变它的好方法，如果是，是否有办法在没有类似的情况下做到这一点

bytes[0] = '"'
bytes[1] = 'b'

Answer 1

如果您想将字节保存为字符串，您可能应该将它们编码为为此制定的格式，例如base64。这是more efficient with space than directly writing hex.

尝试将任意字节直接转换为像 utf-8 这样的编码可能会导致 UnicodeDecodeError 错误。

在您的情况下，您可以执行以下操作：

import os, hashlib, base64

password = "top_secret"

salt = os.urandom(64)
hash = hashlib.pbkdf2_hmac(
    'sha256',
    password.encode('utf-8'),
    salt,
    1000000
)
storage = salt + hash

# convert to a base64 string:
s = base64.b64encode(storage).decode('utf-8')

print(s) # <-- string you can save this to a file

# after reading it back from a file convert back to bytes
the_bytes = base64.b64decode(s)

the_bytes == storage 
# True

Answer 2

要写入字节，要么写入期望包含字节的内容，要么写入以某种方式表示字节的文本。 CSV 基本上是一种基于文本的格式。如果您要使用 CSV 文件，那么您将以文本模式打开它，然后向其中写入文本。

从根本上说，硬盘驱动器上的每个文件都由字节组成。这意味着，当您打开 CSV 文件时，您将选择（或使用默认）文本编码方案。因此，您的 bytes 对象在写入时必须转换两次（转换为文本，然后转换为文件中的底层字节 - 例如您可以使用十六进制编辑器进行验证），读取时再转换两次。这就是处理混合数据的现实。值得庆幸的是，一半的工作是自动为您处理的（通过open 调用，或像csv.Reader 这样的包装器）。

所以，我使用str(storage)将其转换为字符串

这实际上并不是您最感兴趣的某种意义上的转换。这是要求对象的可打印、人类可读的表示（还有repr，这需要更面向技术的表示。对于str 和bytes 对象，这就是括起来的引号的来源，以及其他调整。当你print 某事时，它的str 被使用。当你评估在 REPL 中，您会看到结果的 repr - 除了当结果为 None 时，它根本不显示任何内容）。专门处理bytes和str对象，Python有encoding和decoding的概念，它使用显式.encode(str->@987654337 @) 和 .decode (bytes->str) 方法。这些是您可以在文档中轻松查找的主题（或以前的 Stack Overflow 问题，或一般在 Internet 上）。

当我打印字节时，它是一堆带有反斜杠和 X 的字符

是的，这是 Python 用来告诉您 bytes 对象中存在哪些数据的形式。你这里说的基本和“打印列表的时候是一堆列表元素，用方括号括起来的逗号”，或者“打印整数的时候是一堆数字符号”是一样的。

但是，当我从文件中获取它时，它仍然是一个字符串，长度从 128（字节）到 300+（字符）。

所以再次解码。当然，您确实需要正确编码。您从文件中获得的所有内容都将是一个字符串，因为您是以文本模式打开文件，因为 CSV 是一种文本格式。 （顺便说一句，您正在为此使用csv 标准库模块，对吧？）

它也永远不会一致。我不知道编码

所以告诉它使用哪种编码；如果您需要使用一致数量的文本，请选择一种始终将一个字节映射到一个 Unicode 代码点的编码（例如latin-1，也称为iso-8859-1）。但我怀疑您实际上并不关心文本的长度（如果有的话，您会关心文件中使用的字节数）。

我找到了一种方法，通过改变

您只能对文字数据执行此操作。不要用这些术语来思考。 b 是语言语法的一部分。它是不是数据。

Answer 3

你可以使用十六进制。让我们获取一些数据：

>>> import os
>>> b = os.urandom(10)
>>> b
b'\xc5\xe2{\xdf\xd2\x13\xa7\x0b\xef\x07'

作为可以写入 CSV 的十六进制字符串：

>>> b.hex()
'c5e27bdfd213a70bef07'

回到字节：

>>> bytes.fromhex(b.hex())
b'\xc5\xe2{\xdf\xd2\x13\xa7\x0b\xef\x07'