Latin1 字符值的显示与 utf8 中的不同

Question

对于 PYTHON 2.7（我拍摄了在 3 中使用 encode 的照片，现在很困惑......希望得到一些建议，如何在 python 3 中复制这个测试......）

对于欧元字符 (€)，我使用 this tool 查找了它的 utf8 十六进制代码点。它说它是0x20AC。

对于 Latin1（再次使用 Python2 2.7），我使用 decode 来获取它的 Hex 代码点：

>>import unicodedata
>>p='€'
## notably x80 seems to correspond to [Windows CP1252 according to the link][2]
>>p.decode('latin-1') 
>>u'\x80'

然后我对他们两个都使用了这个打印语句，这就是我得到的：

对于 utf8：

>>> print unichr(0x20AC).encode('utf-8')
€

对于 latin-1：

>>> print unichr(0x80).encode('latin-1')
€

到底发生了什么？为什么编码为 utf-8 返回 '‚¬'？另外......似乎 Latin1 十六进制代码点可能与它们的 utf8 对应物不同（我有一位同事认为不同 - 说 Latin1 在这方面就像 ASCII）。但是不同代码点的存在似乎对我有不同的暗示……但是 python 2.7 读取Windows CP1252 'x80' 的原因对我来说是一个真正的谜……这是 latin-1 在 python 2.7 中的标准吗？ ?

Answer 1

你在这里有一些严重的误解。如果您还没有阅读 Python 2 和 Python 3 的 Unicode HOWTO，您应该从那里开始。

首先，UTF-8 是 Unicode 到 8 位字节的编码。没有 UTF-8 代码点 0x20AC 这样的东西。有一个 Unicode 代码点 U+20AC，但在 UTF-8 中，它是三个字节：0xE2、0x82、0xAC。

---

这就解释了你在这里的困惑：

为什么编码为 utf-8 返回 '‚¬'？

它没有。它返回字节字符串'\xE2\x82\xAC'。然后你 printed 到你的控制台。您的控制台可能在 CP-1252 中，因此它将这些字节解释为好像它们是 CP-1252，这给了您€。

---

同时，当你写这个时：

p='€'

控制台没有提供 Python Unicode，它提供了 CP-1252 中的 Python 字节，Python 只是将其存储为字节。欧元符号的 CP-1252 是\x80。所以，这和打字是一样的：

p='\x80'

但在 Latin-1 中，\x80 不是欧元符号，它是一个不可见的控制字符，相当于 Unicode U+0080。因此，当您拨打p.decode('latin-1') 时，您会回复u'\x80'。这正是您所看到的。

---

您无法在 Python 3 中重现这一点的原因是，在 Python 3 中，str 和纯字符串文字是 Unicode 字符串，而不是字节字符串。所以，当你写这个时：

p='€'

... 控制台给 Python 一些字节，然后 Python 使用它为控制台猜测的字符集 (CP-1252) 自动将这些字节解码为 Unicode。所以，就相当于这样写：

p='\u20ac'

……或者这个：

p=b'\x80'.decode(sys.stdin.encoding)

---

另外，你一直说“十六进制代码点”来表示各种不同的东西，这些都没有任何意义。

代码点是一个 Unicode 概念。 Python 中的unicode 字符串是一个代码点序列。 str 是 bytes 的序列，而不是代码点。十六进制只是表示数字的一种方式——十六进制数20AC或0x20AC与十进制数8364相同，十六进制数0x80与十进制数@相同987654347@.

这个字节序列本身并没有作为文本的任何内在含义；它需要与编码结合才能有意义。根据编码的不同，一些代码点可能根本无法表示，而另一些可能需要 2 个或更多字节来表示。

---

最后：

另外...看起来 Latin1 十六进制代码点可能与对应的 utf8 代码点不同（我有一位同事认为不同 - 说 Latin1 在这方面就像 ASCII）。

Latin-1 是 ASCII 的超集。 Unicode 也是 Latin-1 的可打印子集的超集； U+FF 之前的一些 Unicode 字符（以及 U+7F 之前的所有可打印字符）以 UTF-8 编码为与代码点具有相同值的字节，但不是全部。 CP-1252 是 Latin-1 的可打印子集的不同超集。由于在 ASCII 或 Latin-1 中没有欧元符号，CP-1252 和 UTF-8 以不同方式表示它是完全合理的。