字符串文字与 Unicode 文字与 Unicode 类型对象 - 内存表示

Question

Python 2.x doc 说，

Unicode 字符串是一个代码点序列

Unicode 字符串表示为 unicode 类型的实例

>>> ThisisNotUnicodeString = 'a정정????' # What is the memory representation?
>>> ThisisNotUnicodeString
'a\xec\xa0\x95\xec\xa0\x95\xf0\x9f\x92\x9b'
>>> type(ThisisNotUnicodeString)
<type 'str'>
>>> a = u'a정정????' # Which encoding technique used to represent in memory? utf-8?
>>> a
u'a\uc815\uc815\U0001f49b'
>>> type(a)
<type 'unicode'>
>>> b = unicode('a정정????', 'utf-8')
>>> b
u'a\uc815\uc815\U0001f49b'
>>> c = unicode('a정정????', 'utf-16')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python2.7/encodings/utf_16.py", line 16, in decode
    return codecs.utf_16_decode(input, errors, True)
UnicodeDecodeError: 'utf16' codec can't decode byte 0x9b in position 10: truncated data
>>> 

---

问题：

1) ThisisNotUnicodeString 是字符串文字。尽管 ThisisNotUnicodeString 不是 unicode 文字，但哪种编码技术用于在内存中表示 ThisisNotUnicodeString？因为应该有一些编码技术来表示内存中的정 或???? 字符。

2) 哪种编码技术用于在内存中表示 unicode 文字 a？ UTF-8？如果是，如何知道占用的字节数？

3) 为什么c 没有在内存中表示，使用utf-16 技术？

Answer 1

使用哪种编码技术在内存中表示？ utf-8?

您可以尝试以下方法：

ThisisNotUnicodeString.decode('utf-8')

如果得到结果，则为 UTF-8，否则不是。

如果要获取字符串的 UTF-16 表示，应先对其进行解码，然后使用 UTF-16 方案进行编码：

ThisisNotUnicodeString.decode('utf-8').encode('utf-16')

所以基本上，您可以将给定的字符串从/到 UTF-8/UTF-16 解码和编码，因为所有字符都可以在这两种方案中表示。

ThisisNotUnicodeString.decode('utf-8').encode('utf-16').decode('utf-16').encode('utf-8')

Answer 2

1) ThisisNotUnicodeString 是字符串文字。尽管 ThisisNotUnicodeString 不是 unicode 文字，但哪种编码技术用于在内存中表示 ThisisNotUnicodeString？因为应该有一些编码技术来表示内存中的정或?字符。

在交互式提示中，将使用哪种编码来编码 Python 2.X 的 str 类型取决于您的 shell 编码，例如，如果您在 Linux 系统下运行终端，终端的编码为 UTF-8 ：

>>> s = "a정정?"
>>> s
'a\xec\xa0\x95\xec\xa0\x95\xf0\x9f\x92\x9b' 

现在尝试将终端窗口的编码更改为其他内容，在这种情况下，我已将 shell 的编码从 UTF-8 更改为 WINDOWS-1250：

 >>> s = "a???"

如果您在 tty 会话中尝试此操作，您会得到钻石而不是 ?至少在 Ubuntu 下你可能会得到不同的字符。

您可以得出结论，将使用哪种编码来确定交互式提示中str 的编码取决于shell。这适用于在 Python 解释器下交互运行的代码，非交互运行的代码会引发异常：

#main.py
s = "a정정?"

尝试运行代码引发SynatxError：

$ python main.py
SyntaxError: Non-ASCII character '\xec' in file main.py...

这是因为 Python 2.X 默认使用 ASCII：

>>> sys.getdefaultencoding()
'ascii'

然后，您必须通过执行以下操作在代码中明确指定编码：

#main.py
#*-*encoding:utf-8*-*
s = "a정정?"

2) 使用哪种编码技术来表示内存中的 unicode 文字 a？ UTF-8？如果是，如何知道占用的字节数？

请记住，如果您在不同的 shell 中运行代码，编码方案可能会有所不同，我已经在 Linux 下进行了测试，对于 Windows，这可能会略有不同，因此请查看您操作系统的文档。

要知道占用的字节数，使用len：

>>> s = "a정정?"
>>> len(s)
11

s 正好占用 11 个字节。

2) 哪种编码技术用于在内存中表示 unicode 文字 a？ UTF-8？如果是，如何知道占用的字节数？

嗯，这是一个混乱，unicode 类型没有编码。它只是一个 Unicode 字符点序列（也就是 Commercial At 的 U+0040）。

3) 为什么c没有在内存中表示，使用utf-16技术？

UTF-8 是一种不同于 UTF-16 的编码方案——UTF-8 表示的字符字节与 UTF-16 不同。这里：

>>> c = unicode('a정정?', 'utf-16')

你实际上是在这样做：

>>> "a정정?"
'a\xec\xa0\x95\xec\xa0\x95\xf0\x9f\x92\x9b'
>>> unicode('a\xec\xa0\x95\xec\xa0\x95\xf0\x9f\x92\x9b', 'utf-16')
UnicodeDecodeError: 'utf16' codec can't decode byte 0x9b in position 10: truncated data

这是因为您尝试解码 UTF-8 和 UTF-16。同样，两者都使用不同数量的字节来表示字符，它们只是两种不同的编码方案——以字节表示字符的不同方式。

供您参考： Python str vs unicode types