使用 Python 字符串处理函数时出现 UnicodeDecodeError

Question

我正在这样做：

word.rstrip(s)

其中 word 和 s 是包含 unicode 字符的字符串。

我明白了：

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe0 in position 0: ordinal not in range(128)

有一个错误报告，该错误在某些 Windows Django 系统上发生。不过，我的情况似乎与那个案子无关。

可能是什么问题？

---

编辑：代码是这样的：

def Strip(word):
    for s in suffixes:
        return word.rstrip(s)

---

Answer 1

问题在于s 是一个字节串，而word 是一个Unicode 字符串——因此，Python 尝试将s 转换为一个Unicode 字符串，这样rstrip 才有意义。问题是，它假设s 是用 ASCII 编码的，但显然不是（因为它包含 ASCII 范围之外的字符）。

因此，由于您将其初始化为文字，因此很容易通过在其前面放置 u 将其转换为 unicode 字符串：

suffixes = [u'ি']

会工作。当您添加更多后缀时，您需要在所有后缀前面分别添加u。

Answer 2

我猜这是因为 python2 中的隐式转换。 this document 对此进行了解释，但我建议您阅读 whole presentation 关于在 python 2 和 3 中处理 unicode（以及为什么 python3 更好;-)）

所以，我认为解决您的问题的方法是在条带化之前强制将字符串解码为 utf8。

类似：

def Strip(word):
    word = word.decode("utf8")
    for s in suffixes:
        return word.rstrip(s.decode("utf8")

第二次尝试：

def Strip(word):
    if type(word) == str:
        word = word.decode("utf8")
    for s in suffixes:
        if type(s) == str:
            s = s.decode("utf8")
        return word.rstrip(s)