Unicode (UTF-8) 在 Python 中读取和写入文件

Question

我在理解读取文本和将文本写入文件（Python 2.4）方面有些脑残。

# The string, which has an a-acute in it.
ss = u'Capit\xe1n'
ss8 = ss.encode('utf8')
repr(ss), repr(ss8)

("u'Capit\xe1n'", "'Capit\xc3\xa1n'")

print ss, ss8
print >> open('f1','w'), ss8

>>> file('f1').read()
'Capit\xc3\xa1n\n'

所以我在我最喜欢的编辑器中的文件 f2 中输入Capit\xc3\xa1n。

然后：

>>> open('f1').read()
'Capit\xc3\xa1n\n'
>>> open('f2').read()
'Capit\\xc3\\xa1n\n'
>>> open('f1').read().decode('utf8')
u'Capit\xe1n\n'
>>> open('f2').read().decode('utf8')
u'Capit\\xc3\\xa1n\n'

我在这里不明白什么？显然，我缺少一些重要的魔法（或良好的感觉）。一种类型到文本文件中以获得正确的转换？

我在这里真正无法理解的是 UTF-8 表示的意义在于，如果您实际上无法让 Python 识别它，那么当它来自外部时。也许我应该只是 JSON 转储字符串，并改用它，因为它有一个 asciiable 表示！更重要的是，当从文件进入时，Python 会识别和解码这个 Unicode 对象的 ASCII 表示吗？如果有，如何获得？

>>> print simplejson.dumps(ss)
'"Capit\u00e1n"'
>>> print >> file('f3','w'), simplejson.dumps(ss)
>>> simplejson.load(open('f3'))
u'Capit\xe1n'

Answer 1

我发现在打开文件时指定编码更容易，而不是混淆编码和解码方法。 io module（在 Python 2.6 中添加）提供了一个 io.open 函数，它有一个编码参数。

使用 io 模块中的 open 方法。

>>>import io
>>>f = io.open("test", mode="r", encoding="utf-8")

然后调用 f 的 read() 函数后，返回一个编码的 Unicode 对象。

>>>f.read()
u'Capit\xe1l\n\n'

请注意，在 Python 3 中，io.open 函数是内置 open 函数的别名。内置的 open 函数只支持 Python 3 中的 encoding 参数，不支持 Python 2。

编辑：以前这个答案推荐codecs 模块。 codecs module can cause problems when mixing read() and readline()，所以这个答案现在推荐 io 模块。

使用编解码器模块中的 open 方法。

>>>import codecs
>>>f = codecs.open("test", "r", "utf-8")

然后调用 f 的 read() 函数后，返回一个编码的 Unicode 对象。

>>>f.read()
u'Capit\xe1l\n\n'

如果您知道文件的编码，那么使用 codecs 包就不会那么混乱了。

见http://docs.python.org/library/codecs.html#codecs.open

Answer 2

在符号中

u'Capit\xe1n\n'

“\xe1”只代表一个字节。 "\x" 告诉你 "e1" 是十六进制的。 当你写

Capit\xc3\xa1n

在你的文件中你有“\xc3”。这些是 4 个字节，在您的代码中您可以全部阅读它们。显示它们时可以看到：

>>> open('f2').read()
'Capit\\xc3\\xa1n\n'

你可以看到反斜杠被反斜杠转义了。所以你的字符串中有四个字节：“\”、“x”、“c”和“3”。

编辑：

正如其他人在他们的回答中指出的那样，您应该只在编辑器中输入字符，然后您的编辑器应该处理转换为 UTF-8 并保存它。

如果您确实有这种格式的字符串，您可以使用string_escape 编解码器将其解码为普通字符串：

In [15]: print 'Capit\\xc3\\xa1n\n'.decode('string_escape')
Capitán

结果是一个以 UTF-8 编码的字符串，其中重音字符由在原始字符串中写入 \\xc3\\xa1 的两个字节表示。如果你想要一个 unicode 字符串，你必须用 UTF-8 再次解码。

您的编辑：您的文件中没有 UTF-8。实际看看它的样子：

s = u'Capit\xe1n\n'
sutf8 = s.encode('UTF-8')
open('utf-8.out', 'w').write(sutf8)

将文件 utf-8.out 的内容与您使用编辑器保存的文件的内容进行比较。

Answer 3

现在你在 Python3 中只需要open(Filename, 'r', encoding='utf-8')

[于 2016 年 2 月 10 日编辑以要求澄清]

Python3 在其 open 函数中添加了 encoding 参数。以下关于 open 函数的信息是从这里收集的：https://docs.python.org/3/library/functions.html#open

open(file, mode='r', buffering=-1, 
      encoding=None, errors=None, newline=None, 
      closefd=True, opener=None)

Encoding 是用于解码或编码的编码名称 文件。这应该只在文本模式下使用。默认编码是 平台相关（无论locale.getpreferredencoding() 返回），但可以使用 Python 支持的任何text encoding。 有关支持的编码列表，请参阅codecs 模块。

因此通过将encoding='utf-8'作为参数添加到open函数中，文件的读取和写入都以utf8形式完成（这也是现在Python中所做的一切的默认编码。）

Answer 4

实际上，这对我在 Python 3.2 中读取具有 UTF-8 编码的文件很有用：

import codecs
f = codecs.open('file_name.txt', 'r', 'UTF-8')
for line in f:
    print(line)

Answer 5

所以，我找到了我正在寻找的解决方案，即：

print open('f2').read().decode('string-escape').decode("utf-8")

这里有一些不寻常的编解码器很有用。这种特殊的读取允许人们从 Python 中获取 UTF-8 表示，将它们复制到 ASCII 文件中，然后将它们读入 Unicode。在“string-escape”解码下，斜线不会加倍。

这允许我想象中的那种往返。

Answer 6

# -*- encoding: utf-8 -*-

# converting a unknown formatting file in utf-8

import codecs
import commands

file_location = "jumper.sub"
file_encoding = commands.getoutput('file -b --mime-encoding %s' % file_location)

file_stream = codecs.open(file_location, 'r', file_encoding)
file_output = codecs.open(file_location+"b", 'w', 'utf-8')

for l in file_stream:
    file_output.write(l)

file_stream.close()
file_output.close()

Answer 7

除了codecs.open()，可以使用io.open()配合Python2或Python3读写unicode文件

示例

import io

text = u'á'
encoding = 'utf8'

with io.open('data.txt', 'w', encoding=encoding, newline='\n') as fout:
    fout.write(text)

with io.open('data.txt', 'r', encoding=encoding, newline='\n') as fin:
    text2 = fin.read()

assert text == text2

Answer 8

为了读入一个 Unicode 字符串然后发送到 HTML，我这样做了：

fileline.decode("utf-8").encode('ascii', 'xmlcharrefreplace')

对 python 驱动的 http 服务器很有用。

Answer 9

好吧，您最喜欢的文本编辑器没有意识到 \xc3\xa1 应该是字符文字，但它会将它们解释为文本。这就是为什么最后一行出现双反斜杠的原因——它现在是一个真正的反斜杠 + xc3，等等。

如果你想在 Python 中读写编码文件，最好使用codecs 模块。

在终端和应用程序之间粘贴文本很困难，因为您不知道哪个程序会使用哪种编码来解释您的文本。您可以尝试以下方法：

>>> s = file("f1").read()
>>> print unicode(s, "Latin-1")
Capitán

然后将此字符串粘贴到您的编辑器中，并确保它使用 Latin-1 存储它。在剪贴板没有乱码字符串的假设下，往返应该可以工作。

Answer 10

您偶然发现了编码的一般问题：如何判断文件的编码方式？

答案：您不能除非文件格式为此提供。例如，XML 以：

开头

<?xml encoding="utf-8"?>

这个标头是经过精心挑选的，因此无论编码如何都可以读取。在您的情况下，没有这样的提示，因此您的编辑器和 Python 都不知道发生了什么。因此，您必须使用codecs 模块并使用codecs.open(path,mode,encoding)，它提供了Python 中缺少的位。

至于你的编辑器，你必须检查它是否提供了一些设置文件编码的方法。

UTF-8 的重点是能够将 21 位字符 (Unicode) 编码为 8 位数据流（因为这是世界上所有计算机都可以处理的唯一内容）。但由于大多数操作系统早于 Unicode 时代，它们没有合适的工具将编码信息附加到硬盘上的文件中。

下一个问题是 Python 中的表示。这在comment by heikogerlach 中得到了完美的解释。您必须了解您的控制台只能显示 ASCII。为了显示 Unicode 或任何 >= charcode 128，它必须使用某种转义方法。在您的编辑器中，您不能输入转义的显示字符串，而是输入字符串的含义（在这种情况下，您必须输入变音符号并保存文件）。

也就是说，您可以使用 Python 函数 eval() 将转义字符串转换为字符串：

>>> x = eval("'Capit\\xc3\\xa1n\\n'")
>>> x
'Capit\xc3\xa1n\n'
>>> x[5]
'\xc3'
>>> len(x[5])
1

如您所见，字符串“\xc3”已变成单个字符。现在这是一个 8 位字符串，采用 UTF-8 编码。获取 Unicode：

>>> x.decode('utf-8')
u'Capit\xe1n\n'

Gregg Lind问：我认为这里缺少一些部分：文件f2包含：十六进制：

0000000: 4361 7069 745c 7863 335c 7861 316e  Capit\xc3\xa1n

codecs.open('f2','rb', 'utf-8')，例如，以单独的字符读取它们（预期）有什么方法可以用 ASCII 写入文件吗？

回答：这取决于你的意思。 ASCII 不能表示大于 127 的字符。所以你需要某种方式来表示“接下来的几个字符意味着一些特殊的东西”，这就是序列“\x”所做的。它说：接下来的两个字符是单个字符的代码。 "\u" 使用四个字符将 Unicode 编码为 0xFFFF (65535)。

因此您不能直接将 Unicode 写入 ASCII（因为 ASCII 根本不包含相同的字符）。您可以将其编写为字符串转义符（如 f2 中）；在这种情况下，文件可以表示为 ASCII。或者您可以将其编写为 UTF-8，在这种情况下，您需要一个 8 位安全流。

您使用decode('string-escape') 的解决方案确实有效，但您必须知道您使用了多少内存：是使用codecs.open() 的三倍。

请记住，文件只是一个 8 位的字节序列。位和字节都没有意义。是你说“65 意味着 'A'”。由于\xc3\xa1应该变成“à”，但计算机无法知道，你必须通过指定写入文件时使用的编码来告诉它。

Answer 11

\x.. 序列是 Python 特有的。它不是通用的字节转义序列。

您实际输入 UTF-8 编码的非 ASCII 的方式取决于您的操作系统和/或您的编辑器。 Here's how you do it in Windows。要让 OS X 输入带有重音的 a，您只需点击 option + E，然后点击 A，然后OS X 中几乎所有的文本编辑器都支持 UTF-8。

Answer 12

您还可以改进原来的 open() 函数以处理 Unicode 文件，方法是使用 partial 函数替换它。这个解决方案的美妙之处在于您不需要更改任何旧代码。它是透明的。

import codecs
import functools
open = functools.partial(codecs.open, encoding='utf-8')

Answer 13

我试图使用 Python 2.7.9 解析 iCal：

从 icalendar 导入日历

但我得到了：

 Traceback (most recent call last):
 File "ical.py", line 92, in parse
    print "{}".format(e[attr])
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe1' in position 7: ordinal not in range(128)

它被修复了：

print "{}".format(e[attr].encode("utf-8"))

（现在它可以像老板一样打印了。）

Answer 14

我发现最简单的方法是将整个脚本的默认编码更改为“UTF-8”：

import sys
reload(sys)
sys.setdefaultencoding('utf8')

任何open、print 或其他语句都将只使用utf8。

至少对Python 2.7.9有效。

谢谢https://markhneedham.com/blog/2015/05/21/python-unicodeencodeerror-ascii-codec-cant-encode-character-uxfc-in-position-11-ordinal-not-in-range128/（看看最后）。