如何在 Python 中逐字符读取 UTF 文件 [关闭]

Question

我有 UTF-8 文件，我想用一些 HTML 标记替换一些 2 字节的字符。

我想为此编写 Python 脚本。只需逐个字符地读取文件，然后输入一些 if 等等。

我遇到的问题是，如果我逐个字符地读取字符，我正在读取一个字节，但有些字符是 1 个字节，有些是 2 个字节长。

如何解决？

我基本上需要能够逐个字符读取字符的功能，但它会知道这个字符大小是 1 字节还是 2 字节。

Answer 1

您需要在指定正确的编码时打开文件。在 Python 3 中，这是使用

with open("myfile.txt", "r", encoding="utf-8-sig") as myfile:
    contents = myfile.read()
    for char in contents:
        # do something with character

在 Python 2 中，您可以使用 codecs module:

import codecs
with codecs.open("myfile.txt", "r", encoding="utf-8-sig") as myfile:
    contents = myfile.read()
    for char in contents:
        # do something with character

请注意，在这种情况下，Python 2 不会进行自动换行转换，因此您需要显式处理 \r\n 换行符。

作为替代方案（Python 2），您可以正常打开文件并在之后对其进行解码；这会将行尾标准化为\n:

with open("myfile.txt", "r") as myfile:
    contents = myfile.read().decode("utf-8-sig")
    for char in contents:
        # do something with character

请注意，在这两种情况下，您最终都会得到 Python 2 中的 Unicode 对象，而不是字符串（在 Python 3 中，所有字符串都是 Unicode 对象）。