使用 apache OpenNLP 进行自然语言处理

Question

如何在自然语言处理中找到以 % 为单位的数据准确度？

试图找到电影评论数据的准确性

一旦新的电影评论来了，要确定评论是否是正面的，过程如下

出于训练目的，使用了大小为 400 MB 的电影评论文件，其中包含 200 K + 评论 cmets 及其相应的评级。

基于文件中的评分实现了词袋方法 例如：如果评级 > 5，则将其放入好袋子，否则放入坏袋子

在实现 NLP 技术下使用的词袋方法时

1. 标记化
2. 停用词删除
3. 词干
4. 特殊字符删除等

一旦袋子准备好，使用上述 NLP 技术的新评论 cmets 然后在袋子中查找好袋子和坏袋子的平均值，以决定新评论是否正面为基础，以较大者为准。

p>

请建议如何计算以 % 为单位的准确度？

Answer 1

将您的数据拆分为训练集和测试集。然后，您可以在您的测试中评估（以 % 为单位计算准确率）您的模型在您的训练集上训练。为了获得更可靠的结果，您可以以交叉折叠评估方式评估您的方法。