将 TAG 格式转换为语料库的正则表达式

Question

我正在使用一个名为 AntConc 的语料库语言学工具，其中您有一个文档，其中每个单词都被标记为词性（名词、形容词等），并且您使用特定的命令来提取匹配项。例如，如果我要查找一个名词（标记为 NN），我会使用 *_NN，它会查找文档中的每个名词。

我需要将我的 *_TAG 语法翻译成 python 正则表达式，但我不知道该怎么做。例如，我有一个短语：*_PP$ *_NN *_DT *_JJ *_NN（这会转化为所有格代词、名词、限定词、形容词、名词；它会找到诸如“她的声音完全重复”之类的东西），采用 TAG 格式。

如何将这样的事情更改为正则表达式？现在，我将只接受那些基本的东西。稍后我会担心弄清楚如何做“或”和“如果这样，那么这样”等等。

如果您需要有关标签的更多信息，请尝试搜索 POS 标签 CLAWS，它应该会给您一个列表。

非常感谢您的帮助！

Answer 1

所以我做了一些研究，发现this PDF file 描述了嵌入标签和非嵌入标签的概念。您正在寻找嵌入的标签。所以如果我是正确的输入会是这样的吗？

her_PP$ voice_NN an_DT exact_JJ duplicate_NN

只有在更大的正文中，你不知道实际的单词，你只知道_XX标签。

在正则表达式中，您必须比* 更具体。您想要代替 * 的是 1 个或多个作为单词一部分的任何字符（字母，但也可能包含连字符？）。这就是名词：

[\w-]+_NN

这表示word characters \w 中的character class [...] 和连字符-、repeated one or more times +，后跟_NN。

对于所有格代词，它有一个$，在正则表达式中有特殊含义，如果你想要字符 $而不是它的特殊含义，你需要转义它与前面的\ 类似：

[\w-]+_PP\$

最后，您要考虑在单词之间允许使用哪些字符。可能只是空格、制表符和回车之类的空格，即\s+。也可以是 "任何不是单词字符的字符" 以允许使用句点、逗号、引号、冒号等。那将是 \W+（注意大写的 W 是与小写\w相反）。

加起来就是这样：

[\w-]+_PP\$\W+[\w-]+_NN\W+[\w-]+_DT\W+[\w-]+_JJ\W+[\w-]+_NN

Debuggex Demo

要做到“未知数量的未知单词”，你可以这样做：

(?:[\w-]+\W+)*?

因此，与单词 [\w-]+ 匹配的部分和介于 \W+ 之间的部分被包装到一个非捕获组 (?:...) 中，并且据说该组与 * 一起出现 0 次或更多次但尽可能少用? 以避免greediness。您可以看到它here，然后删除或添加 X 以查看它仍然匹配。