Python UnicodeDecodeError - 如何从子进程中正确读取 unicode 字符串？

Question

我遇到了 Python 中返回 unicode 字符的子进程的问题，尤其是德语 ü、ä、ö 字符。

我的脚本基本上想打开一个子进程，它返回一些带有stdout.read() 函数的字符串。其中一些字符串可能包含 unicode 字符，但并不总是知道这些字符是否以及在哪里。所以必须以某种方式对输出进行解码（或编码？）才能正确显示字符串。 我无法使用字节对象。

以下代码简而言之显示了我尝试执行的操作，但无法解码字符串，因此出现“UnicodeDecodeError: 'utf-8' codec can't decode byte 0x81 in position 12: invalid start byte”错误消息：

import subprocess

command_array = ['echo', 'string_with_ü_ä_ö']
command = subprocess.Popen(command_array, stdout=subprocess.PIPE, shell=True)

command_output = command.stdout.read()
command_output = command_output.decode()
print(command_output)

我觉得必须有一些琐碎的解决方案来解决这个问题，但我在任何地方都找不到。有什么方法可以正确返回字符串中的那些 unicode 字符？

我使用的是 Python 3.6.3，上面的脚本在 Windows 上运行。在 Linux 下也能运行的版本将同样受到赞赏！

Answer 1

我通过反复试验发现使用cp850 进行解码可以正常工作并产生预期的输出：

import subprocess

command_array = ['echo', 'string_with_ü_ä_ö']
command = subprocess.Popen(command_array, stdout=subprocess.PIPE, shell=True)

command_output = command.stdout.read()
command_output = command_output.decode('cp850')
print(command_output)

如果您将上述代码保存为utf8 编码文件（无论平台如何，python3 的默认值）并使用 python3 运行它会打印：

string_with_ü_ä_ö

不幸的是，我不知道在哪里或为什么选择这种特定的编码，所以这可能不适用于不同的设置，但至少我相信它适用于你的设置。

Answer 2

对于 Python >= 3.6，您需要 subprocess.run() 和 universal_newlines=True

import subprocess

command_array = ['echo', 'string_with_ü_ä_ö']
result = subprocess.run(command_array,
    stdout=subprocess.PIPE, universal_newlines=True)
print(result.stdout)

在 Python 3.7 中，universal_newlines 别名被替换为 text，这更好地解释了该选项的实际作用。