BERT 模型在语法正确性和语义连贯性方面的评估措施答案

【问题标题】：BERT Model Evaluation Measure in terms of Syntax Correctness and Semantic CoherenceBERT 模型在语法正确性和语义连贯性方面的评估措施
【发布时间】：2020-03-09 10:52:32
【问题描述】：

例如我有一个原始句子。 barking这个词对应着缺失的那个词。

Original Sentence : The dog is barking.
Incomplete Sentence : The dog is ___________.

例如，使用 BERT 模型，它预测单词 cry 而不是 barking。我将如何衡量 BERT 模型的准确度，即预测词在句法上的正确性和语义上的连贯性？

（例如，有很多不完整的句子，任务是根据这些不完整的句子评估BERT的准确性。）请帮忙。

【问题讨论】：

狗不能哭吗？似乎是一个完美的句子，无论是在句法上还是语义上......

标签： machine-learning syntax nlp semantics bert-language-model

【解决方案1】：

对于语法，您可以使用例如English Resource Grammar 来确定句子是否符合语法。它是最大的英语语法手动策划描述，您可以尝试online demo。语法（鉴于它具有足够大的覆盖范围，而通常不会）拒绝解析不合语法的句子，这与统计/神经解析器不同，它可以愉快地解析所有内容（并且通常比语法更好）。

估计语义合理性是一项非常艰巨的任务，鉴于 BERT 可能是当前最好的语言模型之一，您不能使用其他语言模型作为参考。有一些学术论文涉及建模语义似然性，您可以从例如this one from NAACL 2018 开始。

【讨论】：