对于 Java，有一个标记器与我想要的完全匹配？

Question

我想标记文本，但不只用空格分隔。

有些东西，比如专有名称，我只想设置一个标记（例如：“Renato Dinhani Conceição”）。另一种情况：percentual ("60 %") 并且没有分成两个标记。

我想知道是否有某个库中的 Tokenizator 可以提供高度自定义？如果没有，我会尝试自己写，如果有一些接口或实践可以遵循。

并非所有事情都需要得到普遍认可。示例：我不需要重新识别中文字母。

我的申请是大学申请，主要针对葡萄牙语。只有名称、地点和类似名称等某些内容来自其他语言。

Answer 1

我不会尝试从标记化的角度，而是从规则的角度来解决它。这将是最大的挑战 - 创建一个能够满足大多数情况的综合规则集。

• 用人类术语定义不应基于空格分割的单元。名称示例是一个。
• 对于空格拆分的每个例外，创建一组规则来识别它。对于名称示例：2 个或多个连续的大写单词，中间有或没有特定于语言的非大写名字单词（如“de”）。
• 将每个规则实现为自己的类，可以在循环时调用。
• 根据空格拆分整个字符串，然后循环它，跟踪之前出现的标记和当前标记，为每个标记应用您的规则类。

规则 isName 的示例：

• 循环 1：(eg.: isName = false
• 循环 2："Renato isName = true
• 循环 3：Dinhani isName = true
• 循环 4：Conceição"). isName = true
• 循环 5：Another isName = false

留下：(eg.:、"Renato Dinhani Conceição").、Another

Answer 2

我认为分词器对于您想要的东西来说太简单了。比标记器更进一步的是像 JFlex 这样的词法分析器。这些会将字符流拆分为单独的标记，例如标记器，但规则更灵活。

即便如此，您似乎仍需要某种自然语言处理，因为教词法分析器区分专有名称和普通单词可能会很棘手。通过教它以大写字母开头的一串单词都属于同一类，数字后面可能跟单位等，你可能会走得更远。祝你好运。

Answer 3

你应该试试Apache OpenNLP。它包括现成的葡萄牙语句子检测器和标记器模型。

下载 Apache OpenNLP 并解压。将葡萄牙语模型复制到 OpenNLP 文件夹。从http://opennlp.sourceforge.net/models-1.5/下载模型

从命令行使用它：

bin/opennlp TokenizerME pt-ten.bin 
Loading Tokenizer model ... done (0,156s)
O José da Silva chegou, está na sua sala.
O José da Silva chegou , está na sua sala .

使用 API：

// load the model
InputStream modelIn = new FileInputStream("pt-token.bin");

try {
  TokenizerModel model = new TokenizerModel(modelIn);
}
catch (IOException e) {
  e.printStackTrace();
}
finally {
  if (modelIn != null) {
    try {
      modelIn.close();
    }
    catch (IOException e) {
    }
  }
}

// load the tokenizer
Tokenizer tokenizer = new TokenizerME(model);

// tokenize your sentence
String tokens[] = tokenizer.tokenize("O José da Silva chegou, está na sua sala.");

Answer 4

StringTokenizer 是一个遗留类，仅为了向后兼容而维护。在新代码中不鼓励使用它。

您应该使用 String.split() 函数。 split 函数将正则表达式作为参数。此外，您可以使用 Pattern 和 Matcher 类来增强它。您可以编译您的模式对象，然后使用它来匹配各种场景。