我如何评估我的技术？答案

【问题标题】：How can I evaluate my technique?我如何评估我的技术？
【发布时间】：2011-12-31 18:33:38
【问题描述】：

我正在处理文本摘要问题，即给定大量文本，我想找到最具代表性的“主题”或文本主题。为此，我使用了各种信息论测量方法，例如 TF-IDF、Residual IDF 和 Pointwise Mutual Information 来为我的语料库创建一个“字典”。这本词典包含文中提到的重要词汇。

我手动筛选了整个 50,000 个按 TFIDF 度量排序的短语列表，并亲自挑选了 2,000 个短语（我知道！我花了 15 个小时才完成这个……），这些是基本事实，即这些对于当然。现在，当我将它用作字典并对我的文本进行简单的频率分析并提取前 k 个短语时，我基本上看到了主题是什么，并且我同意我所看到的。

现在我该如何评估这种方法？这里不涉及机器学习或分类。基本上，我使用了一些 NLP 技术来创建字典，并单独使用字典进行简单的频率分析，这给了我正在寻找的主题。但是，我可以为我的系统做一个正式的分析来衡量它的准确性或其他什么吗？

【问题讨论】：

标签： python machine-learning nlp nltk

【解决方案1】：

我不是机器学习专家，但我会使用 cross-validation。如果你使用例如1000 页文本来“训练”算法（有一个“人在循环中”，但没问题），然后你可以再测试几百页，并使用你的“top-k 短语算法”找到“主题”或“主题”。 您同意算法结果的测试页面的比率为您提供了一个（有点主观的）衡量方法执行情况的方法。

【讨论】：

如果我没听错的话，你有一个软件，它可以对文本页面进行频率分析，并给你关键词——这意味着你确实有一个算法:) 扔几百页，然后收集为每个设置的关键字。然后阅读每一页并确定关键字集是否正确描述了文本的主题。为避免您的个人偏见，请让志愿者以 1 到 10 的比例评估关键字集的优劣。您还可以将文本及其关键字放在网络上，并使用众包。
+1 有趣！现在唯一的问题是找到志愿者来做这件事，因为这是一个非常特定领域的问题（医疗），所以基本的众包可能很难使用，因为很难找到志愿者。会找到一些好的众包方法。感谢您的宝贵时间。
是的。现在肯定走这条路。 :)