Python 3：如何指定标准输入编码

Question

在将代码从 Python 2 移植到 Python 3 时，我在从标准输入读取 UTF-8 文本时遇到了这个问题。在 Python 2 中，这很好用：

for line in sys.stdin:
    ...

但是 Python 3 需要来自 sys.stdin 的 ASCII，如果输入中有非 ASCII 字符，我会收到错误：

UnicodeDecodeError: 'ascii' codec can't decode byte .. in position ..: ordinal not in range(128)

对于普通文件，我会在打开文件时指定编码：

with open('filename', 'r', encoding='utf-8') as file:
    for line in file:
        ...

但是如何指定标准输入的编码呢？其他 SO 帖子（例如 How to change the stdin encoding on python）建议使用

input_stream = codecs.getreader('utf-8')(sys.stdin)
for line in input_stream:
    ...

但是，这在 Python 3 中不起作用。我仍然收到相同的错误消息。我使用的是 Ubuntu 12.04.2，我的语言环境设置为 en_US.UTF-8。

Answer 1

Python 3 不期望来自sys.stdin 的 ASCII。它将以文本模式打开stdin，并对使用的编码进行有根据的猜测。这个猜测可能归结为ASCII，但这不是给定的。请参阅sys.stdin documentation 了解如何选择编解码器。

与其他以文本模式打开的文件对象一样，sys.stdin 对象派生自 io.TextIOBase base class；它有一个.buffer 属性指向底层缓冲IO 实例（它又具有一个.raw 属性）。

将sys.stdin.buffer 属性包装在新的io.TextIOWrapper() instance 中以指定不同的编码：

import io
import sys

input_stream = io.TextIOWrapper(sys.stdin.buffer, encoding='utf-8')

或者，在运行 python 时将PYTHONIOENCODING environment variable 设置为所需的编解码器。

从 Python 3.7 开始，您也可以reconfigure the existing std* wrappers，前提是您在开始时（在读取任何数据之前）这样做：

# Python 3.7 and newer
sys.stdin.reconfigure(encoding='utf-8')