【问题标题】:train nltk classifier for just one label只为一个标签训练 nltk 分类器
【发布时间】:2013-04-20 07:20:26
【问题描述】:

我刚刚开始使用 nltk,并且正在关注这本书。第六章是关于文本分类的,我有点困惑。在示例(名称和电影评论)中,分类器被训练以在两个定义明确的标签(男性-女性和 pos-neg)之间进行选择。但是如果你只有一个标签,如何训练。

假设我有一堆电影情节大纲,我只对从科幻类型中找出电影感兴趣。我可以训练一个分类器只识别科幻情节吗,比如说 f.i.如果分类置信度> 80%,则放入sci-fi组,否则,直接忽略。

希望有人能解释一下,谢谢,

【问题讨论】:

  • 您通常应该将 >.5 归类为阳性,而不是 0.8。

标签: python machine-learning nlp classification nltk


【解决方案1】:

您可以简单地训练一个二元分类器来区分 sci-finot sci-fi

因此,在标记为 科幻 的电影情节以及所有其他类型的选择上进行训练。例如,为其他类型设置一个相同大小的具有代表性的样本可能是个好主意,这样并非所有类型都属于浪漫喜剧类型。

【讨论】:

  • 我明白了。实际上比我想象的要明显一点,谢谢。
【解决方案2】:

我看到两个问题

  1. 如何训练系统?
  2. 系统可以由“sci-fi”和“others”组成吗?

2 的答案是肯定的。拥有 80% 置信度阈值的想法也很有意义,只要您从数据、特征和算法中看到 80% 是一个很好的阈值。 (如果不是,如果不是所有的科幻电影都被归类为科幻,你可能要考虑降低它,或者如果太多的非科幻电影被归类为科幻,你可能要考虑降低它。)

1 的答案取决于您拥有的数据、可以提取的特征等。Jared 的方法似乎是合理的。和 Jared 一样,我也想强调足够多且具有代表性的数据的重要性。

【讨论】:

  • P.S.顺便说一句,请注意他们将“男性”和“女性”视为两个标签。 “Pos”和“neg”是另外两个标签,所以我们实际上是在谈论总共四个标签/类/类别!
  • 谢谢 amp,我接受 Jared 的回答只是因为他早一点,但你的回答都有意义。虽然我不明白你的 P.S.,因为在书中它们被视为单独的例子。
  • 别担心!最初,我阅读您的问题,好像所有标签都在一个示例中,在这种情况下,我们将讨论四个标签。随着您的澄清,说有两个标签是有道理的。
猜你喜欢
  • 1970-01-01
  • 2011-06-21
  • 2018-10-31
  • 2018-05-26
  • 1970-01-01
  • 2016-02-16
  • 1970-01-01
  • 2013-04-11
  • 2019-05-20
相关资源
最近更新 更多