UnicodeDecodeError：“ascii”编解码器无法解码位置 47 的字节 0x92：序数不在范围内（128）

Question

我正在尝试使用 Python 在 StringIO 对象中写入数据，然后最终使用 psycopg2 的 copy_from() 函数将此数据加载到 postgres 数据库中。

首先，当我这样做时，copy_from() 抛出了一个错误：错误：用于编码“UTF8”的无效字节序列：0xc92 所以我关注了this question。

我发现我的 Postgres 数据库有 UTF8 编码。

我将数据写入的文件/StringIO 对象显示其编码如下： setgid 非 ISO 扩展 ASCII 英文文本，行很长，带有 CRLF 行终止符

我尝试将写入中间文件/StringIO 对象的每个字符串编码为 UTF8 格式。为此，每个字符串都使用了 .encode(encoding='UTF-8',errors='strict'))。

这是我现在得到的错误： UnicodeDecodeError：“ascii”编解码器无法解码位置 47 中的字节 0x92：序数不在范围内（128）

这是什么意思？我该如何解决？

编辑： 我正在使用 Python 2.7 我的一些代码：

我从 MySQL 数据库中读取数据，该数据库具有按照 MySQL Workbench 以 UTF-8 编码的数据。 这是用于将我的数据（从 MySQL db 获得）写入 StringIO 对象的几行代码：

# Populate the table_data variable with rows delimited by \n and columns delimited by \t
row_num=0
for row in cursor.fetchall() :

    # Separate rows in a table by new line delimiter
    if(row_num!=0):
        table_data.write("\n")

    col_num=0
    for cell in row:    
        # Separate cells in a row by tab delimiter
        if(col_num!=0):
            table_data.write("\t") 

        table_data.write(cell.encode(encoding='UTF-8',errors='strict'))
        col_num = col_num+1

    row_num = row_num+1   

这是从我的 StringIO 对象 table_data 写入 Postgres 数据库的代码：

cursor = db_connection.cursor()
cursor.copy_from(table_data, <postgres_table_name>)

Answer 1

问题是您在 str 对象上调用 encode。

str 是一个字节字符串，通常表示以某种方式编码的文本，例如 UTF-8。当您为此调用encode 时，首先必须将其解码回文本，以便可以重新编码文本。默认情况下，Python 通过调用s.decode(sys.getgetdefaultencoding()) 来实现这一点，而getdefaultencoding() 通常返回'ascii'。

所以，您说的是 UTF-8 编码文本，将其解码为 ASCII，然后将其重新编码为 UTF-8。

一般的解决方案是用正确的编码显式调用decode，而不是让Python使用默认值，然后encode结果。

但是当正确的编码已经是您想要的编码时，更简单的解决方案是跳过.decode('utf-8').encode('utf-8')，直接使用UTF-8 str作为UTF-8 str。

或者，或者，如果您的 MySQL 包装器具有允许您指定编码并返回 unicode 值的 CHAR/VARCHAR/TEXT 列而不是 str 值（例如，在MySQLdb，您将use_unicode=True 传递给connect 调用，或者charset='UTF-8'，如果您的数据库太旧而无法自动检测它），就这样做。然后您将拥有unicode 对象，您可以在它们上调用.encode('utf-8')。

一般来说，处理 Unicode 问题的最佳方法是最后一种——尽可能早地解码所有内容，使用 Unicode 进行所有处理，然后尽可能晚地进行编码。但无论哪种方式，你都必须保持一致。不要打电话给str 可能是unicode；不要将 str 文字连接到 unicode 或将其传递给 replace 方法；等等。任何时候你混合和匹配，Python 都会为你隐式转换，使用你的默认编码，这几乎不是你想要的。

附带说明，这是 Python 3.x 的 Unicode 更改可以帮助解决的众多问题之一。首先，str 现在是 Unicode 文本，而不是编码字节。更重要的是，如果您有个编码字节，例如，在bytes 对象中，调用encode 将给您一个AttributeError，而不是尝试静默解码以便它可以重新编码。而且，类似地，尝试混合和匹配 Unicode 和字节会给你一个明显的TypeError，而不是在某些情况下成功的隐式转换，并给出一个关于你在其他情况下没有要求的编码或解码的神秘信息。