如何在 python 3.6 中取消转义字符？

Question

我对如何在 python 中转义字符有点困惑。我正在使用 BeautifulSoup 解析一些 HTML，当我检索文本内容时，它看起来像这样：

\u00a0\n\n\n\r\nState-of-the-art security and 100% uptime SLA.\u00a0\r\n\n\n\r\nOutstanding support

我希望它看起来像这样：

State-of-the-art security and 100% uptime SLA. Outstanding support

下面是我的代码：

    self.__page = requests.get(url)
    self.__soup = BeautifulSoup(self.__page.content, "lxml")
    self.__page_cleaned = self.__removeTags(self.__page.content) #remove script and style tags
    self.__tree = html.fromstring(self.__page_cleaned) #contains the page html in a tree structure
    page_data = {}
    page_data["content"] =  self.__tree.text_content()

如何删除那些编码的反斜杠字符？我到处看了看，没有什么对我有用。

Answer 1

您可以使用codecs 模块将这些转义序列转换为正确的文本。

import codecs

s = r'\u00a0\n\n\n\r\nState-of-the-art security and 100% uptime SLA.\u00a0\r\n\n\n\r\nOutstanding support'

# Convert the escape sequences
z = codecs.decode(s, 'unicode-escape')
print(z)
print('- ' * 20)

# Remove the extra whitespace
print(' '.join(z.split()))       

输出

    [several blank lines here]
 



State-of-the-art security and 100% uptime SLA. 



Outstanding support
- - - - - - - - - - - - - - - - - - - - 
State-of-the-art security and 100% uptime SLA. Outstanding support

codecs.decode(s, 'unicode-escape') 函数用途广泛。它可以处理简单的反斜杠转义，比如那些换行符和回车序列（\n 和\r），但它的主要优势是处理 Unicode 转义序列，比如\u00a0，它只是一个不间断的空格字符。但是，如果您的数据中包含其他 Unicode 转义符，例如用于外国字母字符或表情符号的转义符，它也会处理它们。

---

正如 Evpok 在评论中提到的那样，如果文本字符串包含实际的 Unicode 字符以及 Unicode \u 或 \U 转义序列，这将不起作用。

来自codecs docs：

unicode_escape

适合作为 Unicode 文字内容的编码 ASCII 编码的 Python 源代码，但引号未转义。 从 Latin-1 源代码解码。当心 Python 源代码 实际上默认使用 UTF-8。

另请参阅codecs.decode 的文档。

Answer 2

你可以使用正则表达式：

import re

s = '\u00a0\n\n\n\r\nState-of-the-art security and 100% uptime SLA.\u00a0\r\n\n\n\r\nOutstanding support'
s = ' '.join(re.findall(r"[\w%\-.']+", s))

print(s) #output: State-of-the-art security and 100% uptime SLA. Outstanding support

re.findall("exp", s) 返回与模式“exp”匹配的 s 的所有子字符串的列表。在“[\w]+”的情况下，所有字母或数字的组合（没有像“\u00a0”这样的十六进制字符串）：

['State', 'of', 'the', 'art', 'security', 'and', '100', 'uptime', 'SLA', 'Outstanding', 'support'] 

您可以通过将字符添加到表达式中来包含字符，如下所示：

re.findall(r"[\w%.-']+", s)    # added "%", "." and "-" ("-"needs to be escaped by "\")

' '.join(s) 返回由引号中的字符串分隔的所有元素的字符串（在本例中为空格）。