关于创建 stanford CoreNLP 训练模型的问题答案

【问题标题】：Questions about creating stanford CoreNLP training models关于创建 stanford CoreNLP 训练模型的问题
【发布时间】：2016-02-16 05:14:22
【问题描述】：

我一直在与斯坦福大学的 coreNLP 合作，对我拥有的一些数据进行情感分析，并且我正在努力创建一个训练模型。我知道我们可以使用以下命令创建一个训练模型：

java -mx8g edu.stanford.nlp.sentiment.SentimentTraining -numHid 25 -trainPath train.txt -devPath     dev.txt -train -model model.ser.gz

我知道 train.txt 文件中的内容。您对句子进行评分并将它们放入 train.txt，如下所示： (0 (2 Today) (0 (0 (2 is) (0 (2 a) (0 (0 bad) (2 day)))) (..)))

但我不明白 dev.txt 文件中的内容。我多次阅读this 问题，试图了解dev.txt 中的内容，但我仍然不清楚。此外，手动对这些句子进行评分变得很痛苦，是否有可用的工具使其变得更容易？我担心我一直在使用错误数量的括号或其他类似的愚蠢错误。

另外，关于我的 train.txt 文件应该多长的任何建议？我想给1000个句子打分。这个数字是不是太小了，太大了？

感谢您的所有帮助:)

【问题讨论】：

标签： stanford-nlp sentiment-analysis training-data scoring

【解决方案1】：

dev.txt 应该与 train.txt 相同，只是句子集不同。请注意，dev.txt 和 train.txt 中不应出现相同的句子。开发集用于评估您在训练数据上训练的模型的质量。
我们不分发用于标记情绪数据的工具。这个类可能有助于构建数据：http://nlp.stanford.edu/nlp/javadoc/javanlp/edu/stanford/nlp/sentiment/BuildBinarizedDataset.html
以下是用于情感模型的训练集、开发集和测试集的大小：train=8544、dev=1101、test=2210

【讨论】：

你能详细说明一下dev.txt吗？现在，我正在为我的 train.txt 文件使用推文。我是否应该收集相同数量的推文，对它们进行评分，然后将它们放入我的 dev.txt 文件中？
另外，一旦我创建了我的模型，我该如何测试它？我下载的 coreNLP 库中是否有可以在示例 test.txt 文件上运行的 jar 文件？我很抱歉一次问了你这么多问题，但你似乎是专家：D
我的回答有误。来自论文：树库中的句子被拆分为训练（8544）、开发（1101）和测试拆分（2210）
是的dev.txt应该是同类型的数据，只是例子不同而已。
当你运行 SentimentTraining 的 main() 方法时，它会报告开发集的分数

【解决方案2】：

这里是一些用于评估模型的示例代码

// load a model
SentimentModel model = SentimentModel.loadSerialized(modelPath);

// load devTrees
List<Tree> devTrees;
devTrees = SentimentUtils.readTreesWithGoldLabels(devPath);

// evaluate on devTrees
Evaluate eval = new Evaluate(model);
eval.eval(devTrees);
eval.printSummary();

您可以通过以下方式找到需要导入的内容等...

edu/stanford/nlp/sentiment/SentimentTraining.java

【讨论】：