将 Unicode 流重新编码为 Ascii 忽略错误

Question

我正在尝试获取一个包含奇数字符的 Unicode 文件流，并使用流阅读器将其包装起来，该流阅读器会将其转换为 Ascii，忽略或替换所有无法编码的字符。

我的流看起来像：

"EventId","Rate","Attribute1","Attribute2","(｡･ω･｡)ﾉ"
...

我尝试动态更改流如下所示：

import chardet, io, codecs

with open(self.csv_path, 'rb') as rawdata:
    detected = chardet.detect(rawdata.read(1000))

detectedEncoding = detected['encoding']
with io.open(self.csv_path, 'r', encoding=detectedEncoding) as csv_file:
    csv_ascii_stream = codecs.getreader('ascii')(csv_file, errors='ignore')
    log( csv_ascii_stream.read() )

log 行上的结果是：UnicodeEncodeError: 'ascii' codec can't encode characters in position 36-40: ordinal not in range(128)，尽管我使用 errors='ignore' 显式构造了 StreamReader

我希望结果流（读取时）如下所示：

"EventId","Rate","Attribute1","Attribute2","(?????)?"
...

或者，"EventId","Rate","Attribute1","Attribute2","()"（使用'ignore'而不是'replace'）

为什么还是会发生异常？

我已经看到很多解码字符串的问题/解决方案，但我的挑战是在读取流时更改流（使用.next()），因为文件可能太大而无法一次全部加载到内存中使用.read()

Answer 1

我参加聚会有点晚了，但这里有一个替代解决方案，使用codecs.StreamRecoder：

from codecs import getencoder, getdecoder, getreader, getwriter, StreamRecoder

with io.open(self.csv_path,  'rb') as f:
    csv_ascii_stream = StreamRecoder(f, 
                                     getencoder('ascii'), 
                                     getdecoder(detectedEncoding),
                                     getreader(detectedEncoding), 
                                     getwriter('ascii'), 
                                     errors='ignore')

    print(csv_ascii_stream.read())

如果您需要灵活地在返回的流上调用read()/readlines()/seek()/tell() 等，我想您可能想要使用它。如果只需要对流进行迭代，那么提供的生成器表达式 abarnert 会更简洁一些。

Answer 2

您正在混淆编码和解码方面。

对于解码，你做得很好。你打开它作为二进制数据，chardet前1K，然后使用检测到的编码以文本模式重新打开。

但随后您尝试使用codecs.getreader 将已解码的数据进一步解码为ASCII。该函数返回一个StreamReader，它解码来自流的数据。那是行不通的。您需要将该数据编码为 ASCII。

但不清楚你为什么首先使用codecs 流解码器或编码器，而你想要做的只是一次编码一个文本块，所以你可以记录下来。为什么不直接调用encode 方法？

log(csv_file.read().encode('ascii', 'ignore'))

如果您想要一些可以用作惰性可迭代行的东西，您可以构建一些完全通用的东西，但是只需执行类似 @ 中的 UTF8Recorder 示例的操作要简单得多987654323@文档：

class AsciiRecoder:
    def __init__(self, f, encoding):
        self.reader = codecs.getreader(encoding)(f)    
    def __iter__(self):
        return self
    def next(self):
        return self.reader.next().encode("ascii", "ignore")

或者，更简单：

with io.open(self.csv_path, 'r', encoding=detectedEncoding) as csv_file:
    csv_ascii_stream = (line.encode('ascii', 'ignore') for line in csv_file)