你可以跳过 python csv 中的非 utf-8 数据吗？

Question

我正在处理 python 中的一个非常大的 csv 文件，其中一些行抛出错误“'utf-8' codec can't decode byte 0x9b in position 7657: invalid start byte”。有没有办法在不手动删除或修复数据的情况下跳过不是 utf-8 的行？

for filename in filenames:
f = open(filename, 'rt')
reader = csv.reader(f, delimiter = ',')
for row in reader:
    #process data for future use

我不能使用非utf8的数据，因为后面的进程需要使用utf-8

Answer 1

您可以使用过滤器将一行读取为原始字节，尝试将其转换为 UTF8 的 unicode，然后：

• 如果成功，将其传递给 csv 阅读器
• 如果没有，则将其存储以供以后分析

假设您使用的是 Python2，您可以使用类似：

class MyFilter:
    def __init__(self, instr, errstr):
        self.instr = instr
        self.errstr = errstr
    def __enter__(self):
        print("ENTERING filter")
        return self
    def __exit__(self, a, b, c):
        print("EXITING filter")
        self.instr.close()
        self.errstr.close()
        return False
    def __next__(self):
        line = next(self.instr)
        while True:
            try:
                t = line.decode('utf8')
                return line.strip()
            except UnicodeDecodeError:
                self.errstr.write(line)
                line = next(self.instr)
        return line
    def __iter__(self):
        return self
    def next(self):
        return self.__next__()

然后您可以这样使用它（假设 Python 2.7），在 err.txt 中获取所有违规行：

with open('file.csv') as istream, open("err.txt", 'w') as err, MyFilter(istream, err) as fd:
    c = csv.reader(fd)
    for i in c:
        # do you stuff, eg: print i

如果您使用 Python 3，则可以使用几乎相同的过滤器类，只需将行 return line.strip() 替换为 return t.strip()，以便返回字符串而不是字节。

用法也几乎相同：

with open('file.csv', 'rb') as istream, open("err.txt", 'wb') as err, MyFilter(istream, err) as fd:
    c = csv.reader(fd)
    for i in c:
        # do you stuff, eg: print (i)

根据您的评论，您还想过滤包含空字符的行。这只需要稍微改变过滤器，while 块变成（Python 3 版本）：

    while True:
        if b'\x00' not in line:
            try:
                t = line.decode('utf8')
                return t.strip()
            except UnicodeDecodeError:
                pass
        self.errstr.write(line)
        line = next(self.instr)