从 Python 中过滤以 '\' 开头的单词

Question

我正在从 twitter 获取推文，我想做词频，但要避免表情符号和奇怪的字符。我已经看到这个字符具有以下形式： u'*' 所以它们总是以 \ 开头，但是当我尝试将此字符作为过滤器时它不允许我，因为 \ 是一个特殊字符。你知道我怎样才能过滤这种词吗？ 我附上我最常用的 10 个词：

 [(u'#ElClasico', 3311),
 (u'RT', 2839),
 (u'\ud83d', 1425),
 (u'#Messi', 1369),
 (u'\u2026', 1092),
 (u'Messi', 975),
 (u'Barcelona', 964),
 (u'\u2705', 948),
 (u'Most', 944),
 (u'500', 903)]

我想擦除 u'\ud83d'、u'\2026' 和 u'\2705'

Answer 1

如果你想过滤掉非拉丁字符，那么你可以利用库regex：

from regex import VERSION1, UNICODE, compile

# remove non-Latin characters.
compile(ur'\p{^Latin}+', VERSION1 | UNICODE).sub('', YOUR_INPUT)

# remove non-Latin/non-space/non-punctuation characters.
compile(ur'[^\p{Latin}\p{Zs}\p{Po}]+', VERSION1 | UNICODE).sub('', YOUR_INPUT)

参考：

• Unicode Character Categories