多语言字符串正则表达式

Question

我的字符串包含来自不同语言的字符，例如：

en <chars in english> fr <chars in french> es <chars in spanish>

我只需要从上面的字符串中提取特定语言的子字符串。我如何使用 regex 或 python2.6 中的其他工具来做到这一点？

ps。它可能是不同的顺序，例如：en (.) es (.) it (.*)，问题是 es 或 fr 或 it - 不是拉丁字符集， - 这就是为什么常规正则表达式无法正常使用它

Answer 1

Regex 可与 unicode 配合使用，您可以使用多种选项来分割字符串。这是一个示例，其中字符串在“en”和“es”等语言代码边界上拆分并放入列表中。然后是迭代列表并找到您想要的语言的问题。

>>> text = u"en <chars in english> fr <chars in french> es <chars in spanish>"
>>> languages = set((u'en', u'fr', u'es'))
>>> re_languages = '|'.join(languages)
>>> splitter = re.compile(ur'\b({})\b'.format(re_languages))
>>> splitter.split(text)
[u'', u'en', u' <chars in english> ', u'fr', u' <chars in french> ', u'es', u' <chars in spanish>']

>>> parts=splitter.split(text)[1:]
>>> for i in range(0, len(parts),2):
...     if parts[i] == 'es':
...         print parts[i+1]
... 
 <chars in spanish>
>>> 

或者你可以一次找到一个

>>> re.findall(r'\b(en|es|fr) (.*?)(?:(?= (?:en|es|fr)\b)|$)', text)
[(u'en', u'<chars in english>'), (u'fr', u'<chars in french>'), (u'es', u'<chars in spanish>')]
>>>