如何在 Python 3 中使用 unicode 读取大文件

Question

您好，我有一个包含 unicode 字符的大文件，当我尝试在 Python 3 中打开它时，这是我遇到的错误。

文件“addRNC.py”，第 47 行，在 add_rnc()

文件“addRNC.py”，第 13 行，在 init 中 rawDoc.readline() 中的值：

文件“/usr/local/lib/python3.1/codecs.py”，第 300 行，在解码中 (结果，消耗) = self._buffer_decode(data, self.errors, final)

UnicodeDecodeError：“utf8”编解码器无法解码位置 158 中的字节 0xd3：无效的继续字节

我尝试了所有方法，但没有成功，代码如下：

rawDoc = io.open("/root/potential/rnc_lst.txt", 'r', encoding='utf8')
    result = []
    for value in rawDoc.readline():

        if len(value.split('|')[9]) > 0 and len(value.split('|')[10]) > 0: 
            if value.split('|')[9] == 'ACTIVO' and value.split('|')[10] == 'NORMAL':
                address = ''
                for piece in value.split('|')[4:7]:
                    address += piece
                if value.split('|')[8] != '':
                    rawdate = value.split('|')[8].split('/')
                    _date = rawdate[2]+"-"+rawdate[1]+"-"+rawdate[0]
                else:
                    _date = 'NULL'

                id = db.prepare("SELECT id FROM potentials_reg WHERE(rnc = '%s')"%(value.split('|')[0]))()

                if len(id) == 0:
                    if _date == 'NULL':
                        db.prepare("INSERT INTO potentials_reg (rnc, _name, _owner, work_type, address, telephone, constitution, active)"+ 
                                "VALUES('%s', '%s', '%s', '%s', '%s', '%s', NULL, '%s')"%(value.split('|')[0], value.split('|')[1], 
                                                                        value.split('|')[2],value.split('|')[3],address, 
                                                                        value.split('|')[7], 'true'))()
                    else:
                        db.prepare("INSERT INTO potentials_reg (rnc, _name, _owner, work_type, address, telephone, constitution, active)"+ 
                                "VALUES('%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s')"%(value.split('|')[0], value.split('|')[1], 
                                                                        value.split('|')[2],value.split('|')[3],address, 
                                                                        value.split('|')[7],_date, 'true'))()
                else:
                    pass

    db.close()

Answer 1

您的文件实际上包含无效的 UTF-8。

当您说“包含 Unicode 字符”时，您应该知道 Unicode 并未指定字符的表示方式。所以即使文件代表 Unicode 数据，它也可能是 UTF-8、UTF-16（UTF-16BE 或 UTF-16LE，每个都有或没有 BOM）、已弃用的 UCS-2、或者甚至是更深奥的形式之一......

仔细检查文件是否有效；我敢打赌你确实有一个字节 0xD3 (11010011)，它在 UTF-8 中必须是一个两字节字符的前导字节，位于跟随位置（换句话说，0xD3 紧跟一个字节，其二进制表示开始11 [大于 0xC0])。

最可能的原因是您的文件包含 非 ASCII 字符，但不是 UTF-8。