NLTK 正则表达式标记器在正则表达式中不能很好地处理小数点

Question

我正在尝试编写一个文本规范器，需要处理的基本情况之一是将3.14 转换为three point one four 或three point fourteen。

我目前正在使用模式\$?\d+(\.\d+)?%? 和nltk.regexp_tokenize，我认为它应该可以处理数字以及货币和百分比。但是，目前，$23.50 之类的东西处理得很好（它解析为['$23.50']），但3.14 正在解析为['3', '14'] - 小数点被删除了。

我尝试在我的正则表达式中添加一个单独的模式 \d+.\d+，但这没有帮助（我当前的模式不应该已经匹配了吗？）

编辑 2：我还刚刚发现 % 部分似乎也无法正常工作 - 20% 仅返回 ['20']。我觉得我的正则表达式一定有问题，但我已经在 Pythex 中测试过，看起来还不错？

编辑：这是我的代码。

import nltk
import re

pattern = r'''(?x)    # set flag to allow verbose regexps
            ([A-Z]\.)+        # abbreviations, e.g. U.S.A.
            | \w+([-']\w+)*        # words w/ optional internal hyphens/apostrophe
            | \$?\d+(\.\d+)?%?  # numbers, incl. currency and percentages
            | [+/\-@&*]         # special characters with meanings
            '''
    words = nltk.regexp_tokenize(line, pattern)
    words = [string.lower(w) for w in words]
    print words

这是我的一些测试字符串：

32188
2598473
26 letters from A to Z
3.14 is pi.                         <-- ['3', '14', 'is', 'pi']
My weight is about 68 kg, +/- 10 grams.
Good muffins cost $3.88 in New York <-- ['good', 'muffins', 'cost', '$3.88', 'in', 'new', 'york']

Answer 1

罪魁祸首是：

\w+([-']\w+)*

\w+ 将匹配数字，因为那里没有 .，它只会匹配 3.14 中的 3。稍微移动选项，使\$?\d+(\.\d+)?%? 位于上述正则表达式部分之前（以便首先在数字格式上尝试匹配）：

(?x)([A-Z]\.)+|\$?\d+(\.\d+)?%?|\w+([-']\w+)*|[+/\-@&*]

regex101 demo

或扩展形式：

pattern = r'''(?x)               # set flag to allow verbose regexps
              ([A-Z]\.)+         # abbreviations, e.g. U.S.A.
              | \$?\d+(\.\d+)?%? # numbers, incl. currency and percentages
              | \w+([-']\w+)*    # words w/ optional internal hyphens/apostrophe
              | [+/\-@&*]        # special characters with meanings
            '''

Answer 2

试试这个正则表达式：

\b\$?\d+(\.\d+)?%?\b

我用单词边界匹配包围初始正则表达式：\b。