我正在做一个项目，其中有一部分我必须输入一个句子来检查它是否是一个有效的句子。
例如，如果我输入“我在家工作”，那么输出将给我“有效句子”，如果我输入“我在家里工作”，它将给我“无效的句子”。
我搜索了一些自然语言解析方法，例如 NLP、Stanford Parser，但如果有人指导我通过一些有关相关问题的 java 示例，将会很有帮助。
我将提前感谢您的帮助。谢谢。
【问题讨论】：
无论您是否使用解析树，您都需要使用Markov process 来检查有效性。这些特征可以是单词序列、词性标签序列、解析树段（即生产规则及其扩展）等。对于这些，您可以使用tokenizer、POS tagger 和natural language parser，分别。
有效性检查也将是一个概率分数，而不是绝对真理。所有（或几乎所有）自然语言解析器都是统计的。这意味着他们需要训练数据。这些解析器使用 context-free grammars 或 mildly context-sensitive grammars，例如 CCG 或 TAG，它们是自然语言语法的最佳计算近似值之一。
基本上，该模型会告诉您在已经看到特定序列的特征之后，一个特征出现在有效句子中的可能性有多大。也就是说，它将允许您计算P("at"|"am working") 和P("at"|"home am") 形式的概率。前者应该比后者有更高的概率。您需要通过实验确定一个句子被认为是有效的概率应该有多高。
正如qqlihq 所评论的，这些都属于language models 的广义定义。然而，对于句子的有效性，您通常不需要测量困惑度。条件概率测量就足够了。
【讨论】：