如何解码 unicode python 参数？

Question

使用以下代码（在 PHP 中）我将字符串发送到 python 程序：

shell_exec("python3 /var/www/html/app.py \"$text\"");

$text 变量包含非英语字符串。问题是，当我在 Python 中使用 print(sys.argv) 打印参数时，我得到如下结果：

['/var/www/html/app.py', '\udcd8\udca8\udcd8\udcaa\udcd8\udcb5\udcd8\udcb4\udcda\udca9 \udcd8\udcae\udcd8\udcab\udcd9\udc87\udcd8\udca8 \udcd8\udcaa\udcd8\udcb4\udcd8\udcb5\udcd8\udcab'] 

如何将此 unicode 字符串转换为 python 中文本的原始形式？

Answer 1

shell_exec("python3 /var/www/html/app.py \"$text\"");

（我希望$text 被强力清理、转义或静态！如果用户输入进入这里，你就有一个可怕的远程代码执行漏洞！）

'\udcd8\udca8\udcd8\udcaa\udcd8\udcb5\udcd8...

好的，这里发生的事情是 PHP 已将 UTF-8 编码的字符串传递给 Python，但 Python 不知道命令行输入是 UTF-8。 （通常当您将 Python 作为命令运行时，它可以从您的终端解决，但当 PHP 在 Web 服务器中运行 Python 时，没有终端。）

不知道输入是什么，它默认为纯 ASCII。输入中的高字节在 ASCII 中无效，但 Python 3 有一个用于无效字节的“surrogateescape”回退处理程序，在将其解码为 Unicode 字符串时应用于命令行。这会生成其他无效的 UTF-16 代理代码单元 U+DC80–U+DCFF，但如果您愿意，至少它允许恢复原始高字节。

所以要么：

• 在执行 Python 之前将PYTHONIOENCODING 环境变量设置为UTF-8，这样它首先就知道正确的编码是什么，或者

• 更改 Python 脚本以预处理其输入，以使用 sys.argv[1].encode('utf-8', 'surrogateescape').decode('utf-8') 恢复正确的输入

Answer 2

Python 使用您的语言环境编码来解码它从命令行获取的字节。默认 C 语言环境使用 ascii。 $text 似乎在 utf-8 中。因此，Python 必须使用 surrogateescape 错误处理程序将这些字节解码为文本 sys.argv[1]，从而生成您在输出中看到的单独代理项，例如 '\udcd8'。

您可以使用 utf-8 语言环境，例如 LC_ALL=C.UTF-8 或手动重新编码参数：sys.argv[1].encode(locale.getpreferredencoding(True), 'surrogateescape').decode('utf-8')：

>>> s = u'\udcd8\udca8\udcd8\udcaa\udcd8\udcb5\udcd8\udcb4\udcda\udca9 \udcd8\udcae\udcd8\udcab\udcd9\udc87\udcd8\udca8 \udcd8\udcaa\udcd8\udcb4\udcd8\udcb5\udcd8\udcab'
>>> print(s.encode('ascii', 'surrogateescape').decode('utf-8'))
بتصشک خثهب تشصث