我的 python 程序中出现此错误：ValueError: All strings must be XML compatible: Unicode or ASCII, no NULL bytes or control characters
解决方案是过滤掉某些字节，但我对如何去做这件事感到困惑。
有什么帮助吗？
编辑：抱歉，如果我没有提供有关该问题的足够信息。字符串数据来自外部 api 查询，我无法控制数据的格式。
【问题讨论】：
标签： python xml text unicode lxml
正如链接问题的答案所说，XML标准将有效字符定义为：
Char ::= #x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF]
将其翻译成 Python：
def valid_xml_char_ordinal(c):
codepoint = ord(c)
# conditions ordered by presumed frequency
return (
0x20 <= codepoint <= 0xD7FF or
codepoint in (0x9, 0xA, 0xD) or
0xE000 <= codepoint <= 0xFFFD or
0x10000 <= codepoint <= 0x10FFFF
)
然后您可以根据需要使用该功能，例如
cleaned_string = ''.join(c for c in input_string if valid_xml_char_ordinal(c))
【讨论】：
from lxml.builder import E E('a','\xa9') ValueError: 所有字符串必须与 XML 兼容：Unicode 或 ASCII，没有 NULL 字节或控制字符 ''.join(c for c in '\xa9' if valid_xml_char_ordinal(c)) '\xa9'
另一种比上述答案快得多的方法是使用正则表达式，如下所示：
re.sub(u'[^\u0020-\uD7FF\u0009\u000A\u000D\uE000-\uFFFD\U00010000-\U0010FFFF]+', '', text)
与上面的答案相比，在我的测试中它的速度提高了 10 倍以上：
import timeit
func_test = """
def valid_xml_char_ordinal(c):
codepoint = ord(c)
# conditions ordered by presumed frequency
return (
0x20 <= codepoint <= 0xD7FF or
codepoint in (0x9, 0xA, 0xD) or
0xE000 <= codepoint <= 0xFFFD or
0x10000 <= codepoint <= 0x10FFFF
);
''.join(c for c in r.content if valid_xml_char_ordinal(c))
"""
func_setup = """
import requests;
r = requests.get("https://stackoverflow.com/questions/8733233/")
"""
regex_test = """re.sub(u'[^\u0020-\uD7FF\u0009\u000A\u000D\uE000-\uFFFD\U00010000-\U0010FFFF]+', '', r.content)"""
regex_setup = """
import requests, re;
r = requests.get("https://stackoverflow.com/questions/8733233/")
"""
func_test = timeit.Timer(func_test, setup=func_setup)
regex_test = timeit.Timer(regex_test, setup=regex_setup)
print func_test.timeit(100)
print regex_test.timeit(100)
输出：
> 2.63773989677
> 0.221401929855
因此，理解这一点，我们正在做的是下载该网页一次（您当前正在阅读的页面），然后在其内容上运行函数技术和正则表达式技术各 100 倍。
使用函数式方法大约需要 2.6 秒。
使用正则表达式方法大约需要 0.2 秒。
更新：如 cmets 中所述，此答案中的正则表达式之前删除了一些字符，这些字符在 XML 中应该是允许的。这些字符包括 Supplementary Multilingual Plane 中的任何内容，其中包括古代文字，如楔形文字、象形文字和（奇怪的）表情符号。
正确的正则表达式现在在上面。将来对此的快速测试是使用re.DEBUG，它会打印：
In [52]: re.compile(u'[^\u0020-\uD7FF\u0009\u000A\u000D\uE000-\uFFFD\U00010000-\U0010FFFF]+', re.DEBUG)
max_repeat 1 4294967295
in
negate None
range (32, 55295)
literal 9
literal 10
literal 13
range (57344, 65533)
range (65536, 1114111)
Out[52]: re.compile(ur'[^ -\ud7ff\t\n\r\ue000-\ufffd\U00010000-\U0010ffff]+', re.DEBUG)
我为这个错误道歉。我只能提供我在其他地方找到了这个答案并把它放在这里。这是别人的错误，但我传播了它。我向所有受到影响的人表示诚挚的歉意。
2017 年 12 月 12 日第 2 次更新：我从一些 OSX 用户那里了解到，此代码不适用于所谓的 Python 窄版本，而 OSX 有时会这样做。您可以通过运行import sys; sys.maxunicode 来检查这一点。如果它打印 65535，则在您安装“宽版本”之前，此处的代码将不起作用。 See more about this here.
【讨论】：
F 字母没有被解析为\u 转义的一部分。在 python 控制台中试试这个：print(u'\u10ffff') 然后这个：print(u'\u10ffzz')
radars_string = re.sub(u'[^\u0020-\uD7FF\u0009\u000A\u000D\uE000-\uFFFD\U00010000-\U0010FFFF]+', '', radars_string) File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/re.py", line 155, in sub return _compile(pattern, flags).sub(repl, string, count) File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/re.py", line 251, in _compile raise error, v # invalid expression sre_constants.error: bad character range
我认为这是苛刻/矫枉过正，而且看起来非常缓慢，但是我的程序仍然很快，并且在努力理解出了什么问题之后（即使在我尝试实现 @John 的 clean_string 实现之后），我只是将他的答案调整为使用以下 (Python 2.7) 清除 ASCII 不可打印：
from curses import ascii
def clean(text):
return str(''.join(
ascii.isprint(c) and c or '?' for c in text
))
我不确定我做错了什么更好的选择，但我只是想继续前进......
【讨论】：
bytes.translate() 删除/替换不在string.printable 中的字节。与@John Machin 的解决方案不同；它不适用于任意 Unicode 文本。
您可以参考本网站上的解决方案：
https://mailman-mail5.webfaction.com/pipermail/lxml/2011-July/006090.html
该解决方案对我有用。您可能还需要考虑 John Machin 的解决方案。
祝你好运！
【讨论】：