【发布时间】:2015-01-07 07:41:27
【问题描述】:
斯坦福提供的原始(电影评论)训练集有问题吗?
看起来,似乎“no”和“not”这两个词总是被标记为否定,而“n't”这个词总是被标记为中性。此外,具有 2 个含义的单词也总是一致的。人们会认为“喜欢”这个词在“我喜欢你”这样的短语中是积极的,而在“A 就像 B”这样的短语中是中性的。
有人知道为什么会这样吗?
【问题讨论】:
标签: stanford-nlp training-data
斯坦福提供的原始(电影评论)训练集有问题吗?
看起来,似乎“no”和“not”这两个词总是被标记为否定,而“n't”这个词总是被标记为中性。此外,具有 2 个含义的单词也总是一致的。人们会认为“喜欢”这个词在“我喜欢你”这样的短语中是积极的,而在“A 就像 B”这样的短语中是中性的。
有人知道为什么会这样吗?
【问题讨论】:
标签: stanford-nlp training-data
“问题”是一个相对术语。确实没有什么问题,但是您可以提供不同的处理方式的论据。
tl;博士
注释确实是在单词的一个子树(包括单个单词的极限情况)总是得到相同评分的模型下完成的。
这里的想法是语言的组合性原则:如果你想弄清楚一个新颖的大句子的含义,通常认为你应该弄清楚部分的含义,然后弄清楚这些部分会发生什么被结合起来。评级是针对情绪的情况进行的。
相比之下,如果您将情绪分配给上下文中的子字符串,您会做什么并不十分明显。就像如果子字符串是“[有点]”,那么说您在“电影 [有点] 原创”或“电影 [有点] 无聊”这样的上下文中评估它是什么意思”。您是在评估“一点点”的情绪,还是只是查看上下文并在子字符串上粘贴一个真正反映“原创”或“无聊”情绪的评分?
尽管如此,人们仍然可以对这种方法提出疑问。一方面,没有使用词义。一个子串得到一个评级。另一方面,可以说情感是一种格式塔,即使单词具有含义并且更大的短语含义是从它们的组成中计算出来的,但说单词具有没有使用的情感并没有真正的意义在特定的上下文中。也就是说,“薄”有一个明确的含义,并且根据您的世界知识,“薄笔记本电脑”是一件好事而“薄壁”是一件坏事是有道理的,但看起来不像“瘦”本身就有一种情绪——它是由于它所指的对象是否被认为是好的,如果瘦的话。希望在这种情况下,AMT 注释器本身就给出了“薄”的中性情绪,并且只对“薄笔记本电脑”和“薄壁”等短语给予正面和负面的评价。但是,在实践中,他们的头脑很容易想象出一个特定的上下文,并且他们根据该上下文来判断这个词。
附言这个问题看起来比 Stack Overflow 更像是语言学 Stack Exchange。
【讨论】: