【发布时间】：2012-03-26 17:14:35
【问题描述】：
我的问题与this one 相当相关，但我决定打开另一个问题线程。我希望一切都好。
我也在 Python 中使用 NLTK 构建垃圾邮件过滤器，但我才刚刚开始。
我想知道我可以使用哪个垃圾邮件语料库以及如何导入它？我没有发现任何“NLTK 中的内置”垃圾邮件语料库 (here)。
提前谢谢你。
【问题讨论】：
标签： python nltk spam-prevention corpus
【发布时间】：2012-03-26 17:14:35
【问题描述】：
此presentation 使用enron-spam dataset（200,000 多封电子邮件）。
训练和测试集来自 200,000+ 安然的数据集 同时包含“垃圾邮件”和“火腿”电子邮件的电子邮件
【讨论】：
-
谢谢，这是一个很棒的链接！ :)
-
我相信这些都包含在 TREC 数据集中。关于分类也有一些争论。 John Graham-Cumming 做了一项后续研究；也许你也可以获得他的数据。我不能很快找到他的最终报告，但这里有一个临时指针：blog.jgc.org/2006/05/theres-one-born-every-minute-spam-and.html 也许他的最终出版物是为 CEAS 2006 或 2007 年 MIT 垃圾邮件会议？
-
再次感谢 :) TREC 数据集看起来也很棒，但他们的“风险假设”有点过分。它可能不包含过于复杂的计算机病毒，但我决定使用预处理的安然数据集。如果它不够大，我可以稍后更换它。链接真的很有趣，我一定会在安然检查分类垃圾邮件/火腿是否可靠。
-
简要更新：我能找到的最接近最终报告的是 2006 年 6 月的病毒公告文章 virusbtn.com/spambulletin/archive/2006/06/sb200606-spamorham（需要注册）。这不是最终报告，但可能是我记得的那篇文章。也许他从未发表过总结报告。
-
至于“风险假设”，只要您采取合理的预防措施（在无法发送邮件的系统上处理垃圾邮件；使用邮件阅读器，如果您这样做甚至不可能做任何愚蠢的事情）错误地双击附件）你应该是相当安全的..但显然，关于SO的建议应该持保留态度（-：
垃圾邮件并不难获得。大量合理的新鲜垃圾邮件也不一定是一个大挑战。最大的难题是如何获得火腿。如果您只是构建自己的垃圾邮件过滤器，当然，您可以使用自己的 ham。
SpamAssassin 公共语料库已经很老了，但你有它； http://spamassassin.apache.org/publiccorpus/
还有来自 TREC 垃圾邮件轨道的语料库，它们稍大一些，但没有多少更新或更少偏向； http://plg.uwaterloo.ca/~gvcormac/treccorpus/
各种爱好者继续在网络上发布他们的垃圾邮件，但大多数都没有包含完整的标题等。如果您只对“词袋”过滤感兴趣，也许这已经足够了。
【讨论】：
-
非常感谢您的回答和链接。我正在实施两个垃圾邮件过滤器来检查生成或判别分类是否更适合垃圾邮件过滤任务。