用 U+FFFD 替换给定字符集之外的字符？

【问题标题】：Replace characters outside a given charset with U+FFFD?用 U+FFFD 替换给定字符集之外的字符？
【发布时间】：2014-04-22 08:44:26
【问题描述】：

我必须接受 utf-8 中的用户输入并将其提供给仅接受 ISO-8859-15 的系统。 我想将用户提供的 unicode 字符串中的所有非 ISO-8859-15 字符转换为 U+FFFD，以便将有问题的字符呈现给用户。完成此任务的最简单*方法是什么？

我使用的是 Python 2.7。

*) 任意定义“最简单”:)

【问题讨论】：

你的意思是 latin-1 吗？
@JayanthKoushik 不，请参阅：en.wikipedia.org/wiki/ISO/IEC_8859-15 - 但这实际上并不重要。无论如何，同样的问题也适用。
Python 似乎没有 latin-9。
@JayanthKoushik 没错，它在 Python 中被称为“ios-8859-15”。我写问题的时候很懒。现已修复。

标签： python python-2.x python-unicode

【解决方案1】：

这个怎么样？

def is_latin_9(c):
    try:
        c.encode('iso-8859-15')
        return True
    except UnicodeEncodeError:
        return False

def replace_non_latin_9(s):
    return ''.join(c if is_latin_9(c) else u'\ufffd' for c in s)

【讨论】：

谢谢，成功了。相当冗长，尤其是可能非常慢。当输入有很多非拉丁 9 字符时 - 但实际上这对我来说不是问题。我希望有一个更内置的方式，但也许没有。可能一种更快的方法是制作一组属于 latin-9 的 unicode 代码点，但这意味着更多的代码。
我认为不可能比 O(n) 更快地做到这一点。您确实需要检查每个字符。至于冗长，这并没有错。
（现在相当学术，但想想这些很有趣。:)）当然是 O(n)。我不熟悉 Python 的内部结构，但我认为每个字符的函数调用和 try-catch 可能不是一个便宜的解决方案。