Python：从字符串中删除特定字符（u“\ u2610”）

Question

我一直在努力解决 Python 中的解码和编码问题，但我不知道如何解决我的问题。我正在遍历显然用 utf-8 编码的 xml 文本文件 (sample)，使用 Beautiful Soup 解析每个文件，然后查看文件中的任何句子是否包含来自两个不同单词列表的一个或多个单词.因为 xml 文件来自 18 世纪，所以我需要保留 xml 中的破折号。下面的代码可以很好地做到这一点，但它也保留了我希望删除的讨厌的框字符。我相信方框字符是this character。

（您可以在上面示例文件的第 3682 行找到我希望删除的字符的示例。在此网页上，该字符看起来像一个“或”管道，但是当我在 Komodo 中读取 xml 文件时，它看起来像一个框。当我尝试将该框复制并粘贴到搜索引擎中时，它看起来像一个“或”管道。但是，当我打印到控制台时，该字符看起来像一个空框。）

总而言之，下面的代码运行没有错误，但它打印出我想删除的空框字符。

for work in glob.glob(pathtofiles):

    openfile = open(work)
    readfile = openfile.read()
    stringfile = str(readfile)

    decodefile = stringfile.decode('utf-8', 'strict') #is this the dodgy line?
    soup = BeautifulSoup(decodefile)

    textwithtags = soup.findAll('text')

    textwithtagsasstring = str(textwithtags)

    #this method strips everything between anglebrackets as it should
    textwithouttags = stripTags(textwithtagsasstring)

    #clean text
    nonewlines = textwithouttags.replace("\n", " ")
    noextrawhitespace = re.sub(' +',' ', nonewlines)

    print noextrawhitespace #the boxes appear

我尝试使用删除框

noboxes = noextrawhitespace.replace(u"\u2610", "")

但是 Python 抛出了一个错误标志：

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 280: ordinal not in range(128)

有谁知道如何从 xml 文件中删除这些框？如果其他人可以提供任何帮助，我将不胜感激。

Answer 1

试试这个：

noextrawhitespace.replace("\\u2610", "") 

我认为你只是缺少那个额外的'\'

这也可能有效。

print(noextrawhitespace.decode('unicode_escape').encode('ascii','ignore'))

Answer 2

问题是你混合了unicode 和str。每当你这样做时，Python 必须将一个转换为另一个，这是通过使用 sys.getdefaultencoding()，通常是 ASCII，这几乎不是你想要的。*

如果异常来自这一行：

noboxes = noextrawhitespace.replace(u"\u2610", "")

...修复很简单...除了您必须知道noextrawhitespace 应该是unicode 对象还是UTF-8 编码str 对象）。如果是前者，那就是：

noboxes = noextrawhitespace.replace(u"\u2610", u"")

如果是后者，就是这样：

noboxes = noextrawhitespace.replace(u"\u2610".encode('utf-8'), "")

但实际上，您必须使代码中的所有字符串保持一致；将两者混合起来会在比这更多的地方引起问题。

---

由于我没有要测试的 XML 文件，所以我自己编写了：

<xml>
    <text>abc&#9744;def</text>
</xml>

然后，我将这两行添加到代码的底部（并在顶部添加了一点，以便打开我的文件，而不是使用任何内容）：

noboxes = noextrawhitespace.replace(u"\u2610".encode('utf-8'), "")
print noboxes

现在的输出是：

[<text>abc☐def</text>]
[<text>abc☐def</text>]
[<text>abcdef</text>]

所以，我认为这就是你想要的。

---

* 当然有时你想要 ASCII……但通常不是你有 unicode 对象的时候……

Answer 3

阅读您的示例，以下是文档中的非 ASCII 字符：

0x2223 DIVIDES
0x2022 BULLET
0x3009 RIGHT ANGLE BRACKET
0x25aa BLACK SMALL SQUARE
0x25ca LOZENGE
0x3008 LEFT ANGLE BRACKET
0x2014 EM DASH
0x2026 HORIZONTAL ELLIPSIS

\u2223 是第 3682 行中的实际字符，它被用作软连字符。其他用于标记难以辨认的字符，例如：

<GAP DESC="illegible" RESP="oxf" EXTENT="4+ letters" DISP="\u2022\u2022\u2022\u2022\u2026"/>

这里有一些代码可以执行您的代码正在尝试的操作。确保以 Unicode 处理：

from bs4 import BeautifulSoup
import re

with open('k000039.000.xml') as f:
    soup = BeautifulSoup(f)  # BS figures out the encoding

text = u''.join(soup.strings)      # strings is a generator for just the text bits.
text = re.sub(ur'\s+',ur' ',text)  # Simplify all white space.
text = text.replace(u'\u2223',u'') # Get rid of the DIVIDES character.
print text

输出：

[[截断]] 也认为我自己是新郎。扣上。我怀疑基奇不会找到他这样的人。 [旁白] 萨戈夫人。好吧，——可怜的凯基一定要表现得很好，或者她已经完全失去了帕迪的宠爱。我要为《财富》的这番怨恨吗？——不。我很高兴我被原谅了。一些邻居的妻子最近才出现，当配偶离开他们时，他们所有的朋友都飞走了。那么你们所有的妻子会避免我的命运。对您目前的状态 FINIS 保持满意。