训练斯坦福情感模型时使用 devTrees 有什么用？答案

【问题标题】：What is the use of devTrees while training stanford sentiment model?训练斯坦福情感模型时使用 devTrees 有什么用？
【发布时间】：2014-12-31 06:03:32
【问题描述】：

在为给定数据集训练 stanford 情绪模型时，我们使用以下命令：

 java -mx8g edu.stanford.nlp.sentiment.SentimentTraining -numHid 25 -trainPath train.txt -devPath dev.txt -train -model model.ser.gz

是否可以不使用 dev.txt 进行训练？它有什么意义？

【问题讨论】：

【解决方案1】：

是的，可以在不使用开发数据的情况下进行训练。开发数据用于在“看不见的”测试数据上评估模型，以猜测最终模型对新输入的泛化程度。

如果您不提供任何开发数据，您将无法在训练期间获得有关模型性能的任何反馈。（您仍然可以使用保存的模型并手动测试新数据。）

【讨论】：

谢谢。我还想知道在根据测试数据集评估情感模型后如何找到它的准确性。在评估总结中，有两件事：标签准确率和根标签准确率。他们之间有什么区别。您如何找到整体准确度？
标签准确度衡量每棵树中每个节点的情感标签的准确度，而根标签准确度仅检查整体情感标签。您需要选择最适合您的任务的指标。例如，如果您不关心在句子级别以下获得精确正确性，只要正确产生句子级别的情感，您可能应该关注根标签的准确性。
现在我正在训练一个包含 27328 个句子的数据集。但是，当我针对 1794 个句子的已知数据集进行测试时，我的根标签准确率只有 33%。可能是什么问题？和句长有关系吗？
这似乎很低..您如何监控训练收敛？在测试之前，您可能需要对模型进行更长时间的训练。（使用开发集将帮助您知道何时停止！）
其实我是在使用 Sentiment.ser.gz 模型文件来训练而不是 model.ser.gz。这就是准确性低的原因。我正在使用一个只有训练集的数据集。我如何从中构建开发集？