有谁知道将现有 csv 文件转换为 UTF-8 编码的简单函数？

Question

我有巨大的 csv 文件，它们包含 '\xc3\x84' 样式字符而不是德语变音符号，因为我使用 BeautifulSoup 废弃 HTML 并使用 Python 2.7.8 将其写入 csv 文件。

在这个帮助下，我设法替换了所有这些字符： Python 2.7.1: How to Open, Edit and Close a CSV file

现在我的代码如下所示：

import csv

new_rows = []
umlaut = {'\\xc3\\x84': 'Ä', '\\xc3\\x96': 'Ö', '\\xc3\\x9c': 'Ü', '\\xc3\\xa4': 'ä', '\\xc3\\xb6': 'ö', '\\xc3\\xbc': 'ü'}

with open('file1.csv', 'r') as csvFile:
    reader = csv.reader(csvFile)
    for row in reader:
        new_row = row
        for key, value in umlaut.items():
            new_row = [ x.replace(key, value) for x in new_row ]
        new_rows.append(new_row)

with open('file2.csv', 'wb') as f:
    writer = csv.writer(f)
    writer.writerows(new_rows)

当我打开 csv 时，我看到的是 Köln 而不是 Köln 和其他“德语变音符号”问题。 我可以通过用记事本打开 CSV 文件然后将其保存为 UTF-8 来手动解决这个问题，但我想用 python 自动完成。

我不太明白如何使用 UnicodeWriter：

https://docs.python.org/2/library/csv.html#examples

我在stackoverflow上找到的答案和解决方案都有点复杂。

我的问题是，在我的情况下，例如，我将如何使用 UnicodeWriter？ 你知道有什么超级简单的函数可以做类似 file2.encode('utf-8') 的事情吗？ 如果 Python 中不存在这么简单的 like 函数，那为什么它还不存在，因为编码错误很常见？

Answer 1

你可以使用string-escape编码代替自己的映射：

>>> print '\\xc3\\x84'.decode('string-escape')
Ä

---

import csv

def iter_decode(it):
    for line in it:
        yield line.decode('string-escape')

with open('file1.csv') as csvFile, open('file2.csv', 'w') as f:
    reader = csv.reader(iter_decode(csvFile))
    writer = csv.writer(f)
    for row in reader:
        writer.writerow(row)

Answer 2

假设您有来自the docs 的 unicode 编写器：

class UnicodeWriter:
    """
    A CSV writer which will write rows to CSV file "f",
    which is encoded in the given encoding.
    """

    def __init__(self, f, dialect=csv.excel, encoding="utf-8", **kwds):
        # Redirect output to a queue
        self.queue = cStringIO.StringIO()
        self.writer = csv.writer(self.queue, dialect=dialect, **kwds)
        self.stream = f
        self.encoder = codecs.getincrementalencoder(encoding)()

    def writerow(self, row):
        self.writer.writerow([s.encode("utf-8") for s in row])
        # Fetch UTF-8 output from the queue ...
        data = self.queue.getvalue()
        data = data.decode("utf-8")
        # ... and reencode it into the target encoding
        data = self.encoder.encode(data)
        # write to the target stream
        self.stream.write(data)
        # empty queue
        self.queue.truncate(0)

    def writerows(self, rows):
        for row in rows:
            self.writerow(row)

像这样使用它：

from __future__ import unicode_lterals
import codecs
f = codecs.open("somefile.csv", mode='w', encoding='utf-8')
writer = UnicodeWriter(f)
for data in some_buffer:
    writer.writerow(data)