【问题标题】:How to detect the events using NLP and Machine learning?如何使用 NLP 和机器学习检测事件?
【发布时间】:2016-08-11 05:58:28
【问题描述】:
我有描述诸如出生、新工作、婚礼、死亡等事件的文本。或者没有事件。如何检测这些事件?
我的方法是形成一组单词并在与 event 对应的文本中搜索它们。或者使用贝叶斯分类器。但是贝叶斯分类器需要对所有类进行一些培训,我需要一种甚至可以在不提供所有类型示例的情况下进行分类的方法?这可能吗?
【问题讨论】:
标签:
machine-learning
nlp
text-classification
document-classification
【解决方案1】:
您的性能要求是什么?低召回好吗?您需要高精度吗?
根据您的问题,我猜您想要一些具有合理回忆的东西(阅读分类广告以发送垃圾邮件?)但实际上没有任何训练数据。
您需要一种无需提供任何训练数据即可对文档进行分类(使用命名实体识别算法中的事件作为特征)的方法。所有监督方法(包括贝叶斯方法)都需要训练数据,因此您所要求/希望的内容是不可能的。在任何情况下,您都需要标记数据,否则您如何判断您的检测过程的效果如何?
在这个阶段你甚至不应该担心使用哪个分类器——我建议编写一些正则表达式来看看你的问题有多难/你得到了什么性能。可能是一打正则表达式可能会为您提供 90% 的这些事件,并且您可以避免过度设计问题。祝你好运!