匹配 Unicode 属性的 Python 正则表达式

Question

Perl 和其他一些当前的正则表达式引擎在正则表达式中支持 Unicode 属性，例如类别。例如。在 Perl 中，您可以使用 \p{Ll} 匹配任意小写字母，或使用 p{Zs} 匹配任何空格分隔符。我在 Python 的 2.x 和 3.x 行中都没有看到对此的支持（很遗憾）。有人知道获得类似效果的好策略吗？欢迎使用本土解决方案。

Answer 1

你说得对，Python 正则表达式解析器不支持 Unicode 属性类。

如果你想做一个很好的 hack，这通常会很有用，你可以创建一个预处理器来扫描字符串中的此类标记（\p{M} 或其他）并用相应的字符集替换它们，这样，例如，\p{M} 将变为 [\u0300–\u036F\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F]，\P{M} 将变为 [^\u0300–\u036F\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F]。

人们会感谢你的。 :)

Answer 2

您是否尝试过Ponyguruma，这是一个与Oniguruma 正则表达式引擎的Python 绑定？在该引擎中，您可以简单地说 \p{Armenian} 来匹配亚美尼亚字符。 \p{Ll} 或 \p{Zs} 也可以。

Answer 3

请注意，虽然\p{Ll} 在 Python 正则表达式中没有等效项，但 \p{Zs} 应该被 '(?u)\s' 覆盖。 (?u)，正如文档所说，“使 \w、\W、\b、\B、\d、\D、\s 和 \S 依赖于 Unicode 字符属性数据库。” \s 表示任何空格字符。

Answer 4

您可以在每个字符上煞费苦心地使用 unicodedata：

import unicodedata

def strip_accents(x):
    return u''.join(c for c in unicodedata.normalize('NFD', x) if unicodedata.category(c) != 'Mn')

Answer 5

regex 模块（标准 re 模块的替代品）支持使用 \p{} 语法的 Unicode 代码点属性。

Answer 6

谈到本土解决方案，前段时间我写了一个小 program 来做到这一点 - 将写为 \p{...} 的 unicode 类别转换为从 unicode specification (v.5.0. 0)。仅支持类别（例如：L、Zs），并且仅限于 BMP。我把它贴在这里以防有人觉得它有用（尽管 Oniguruma 似乎确实是一个更好的选择）。

示例用法：

>>> from unicode_hack import regex
>>> pattern = regex(r'^\\p{Lu}(\\p{L}|\\p{N}|_)*')
>>> print pattern.match(u'疂_1+2').group(0)
疂_1
>>>

这是source。还有一个JavaScript version，用的是同样的数据。