如何使用正则表达式 Python 在文件中查找非 ascii 字符

Question

我有一串字符，包括 [a-z] 以及 á,ü,ó,ñ,å,... 等等。目前我正在使用正则表达式来获取文件中包含这些字符的每一行。

spanishList.txt 示例：

adan
celular
tomás
justo
tom
átomo
camara
rosa
avion

Python代码（charactersToSearch来自flask@application.route('/<charactersToSearch>')）：

print (charactersToSearch)
#'átdsmjfnueó'
...
#encode
charactersToSearch = charactersToSearch.encode('utf-8')
query = re.compile('[' + charactersToSearch + ']{2,}$', re.UNICODE).match
words = set(word.rstrip('\n') for word in open('spanishList.txt') if query(word))
...

当我这样做时，我希望在文本文件中获得包含charactersToSearch 中字符的单词。它非常适用于没有特殊字符的单词：

...
#after doing further searching for other conditions, return list of found words.
return '<br />'.join(sorted(set(word for (word, path) in solve())))
>>> adan
>>> justo
>>> tom

唯一的问题是它会忽略文件中所有不是 ASCII 的单词。我也应该得到tomás 和átomo。

我已尝试使用 ur'[...] 进行编码 UTF-8，但我无法让它适用于所有字符。文件和程序 (# -*- coding: utf-8 -*-) 也是 utf-8 格式。

Answer 1

不同的策略

我不确定如何在您当前的工作流程中解决它，所以我会建议不同的路线。

此正则表达式将匹配既不是空白字符也不是扩展 ASCII 范围内的字母的字符，例如 A 和 é。换句话说，如果您的某个词包含不属于该集合的奇怪字符，则正则表达式将匹配。

(?i)(?!(?![×Þß÷þø])[a-zÀ-ÿ])\S

当然，这也会匹配标点符号，但我假设我们只查看未标点符号列表中的单词。否则，排除标点符号并不太难。

在我看来，你的挑战是定义你的系列。

在 Python 中，你可以这样：

if re.search(r"(?i)(?!(?![×Þß÷þø])[a-zÀ-ÿ])\S", subject):
    # Successful match
else:
    # Match attempt failed

Answer 2

我感觉到你的痛苦。在 python2.x 中处理 Unicode 是一件令人头疼的事情。

该输入的问题在于 python 将“á”视为原始字节字符串 '\xc3\xa1' 而不是 unicode 字符“u'\uc3a1'。因此，您需要在传递字符串到你的正则表达式中。

将原始字节字符串更改为 unicode 字符串

char = "á"
## print char yields the infamous, and in python unparsable "\xc3\xa1".
## which is probably what the regex is not registering.
bytes_in_string = [byte for byte in char]
string = ''.join([str(hex(ord(byte))).strip('0x') for byte in bytes_in_string])
new_unicode_string = unichr(int(string),16))

可能有更好的方法，因为这是为正则表达式准备的大量操作，我认为这在某种程度上应该比迭代和“if/else”更快。 不过不知道，不是专家。

当我解析维基词典时，我使用了类似的东西来隔离特殊的字符词，这是一个邪恶的混乱。据我所知，无论如何您都必须梳理一下以进行清理，您不妨这样做：

for word in file:
    try:
        word.encode('UTF-8')
    except UnicodeDecodeError:
        your_list_of_special_char_words.append(word)

希望这会有所帮助，祝你好运！

进一步研究发现这篇文章：

Bytes in a unicode Python string

Answer 3

能够找出问题所在。从烧瓶应用程序路由中获取字符串后，对其进行编码，否则会出错，然后对文件中的charactersToSearch 和每个word 进行解码。

charactersToSearch = charactersToSearch.encode('utf-8')

然后用 UTF-8 解码。如果你把上一行去掉，它会给你一个错误

UNIOnlyAlphabet = charactersToSearch.decode('UTF-8')
query = re.compile('[' + UNIOnlyAlphabet + ']{2,}$', re.U).match

最后，在读取 UTF-8 文件并使用查询时，不要忘记对文件中的每个单词进行解码。

words = set(word.decode('UTF-8').rstrip('\n') for word in open('spanishList.txt') if query(word.decode('UTF-8')))

应该这样做。现在结果显示常规字符和特殊字符。

justo
tomás
átomo
adan
tom