对与音乐相关的 Twitter 数据进行情感分析的功能

Question

需要一些与 spark on 音乐相关推文的情绪分析相关的指导。

我试图对与音乐相关的推文的推特数据进行情感分析。在网上进行了大量搜索后，我已经了解了如何使用“tweepy”python api 获取推文，并且还意识到我可以使用“朴素贝叶斯分类器”来最终对推文进行分类。现在我对如何为这个分类定义特征感到困惑，我应该定义至少 500 个特征。所以这是我的问题。我不想使用任何已经可用的 API（例如“textblob”）来查找推文的情绪。

1) 谁能给出一些我们可以用来分类音乐相关推文的功能示例？ [我们可以使用带有快乐笑脸的推文作为积极的训练集吗？如果是的话，这些推文中的单词是我的分类器的特征吗？]

2) 我们如何为这个分类器生成训练集？

3）如果我想过滤音乐相关推文的推文，我可以使用Bloom Filter来实现吗？

4) 我可以通过 tweepy api 获取多大的数据？

如果我的理解有问题，请纠正我。

Answer 1

由于情绪分析是有监督的任务，因此您应该有一个训练（和测试）集。在训练集上，您需要人类（通常称为专家）经常给出的标签（以防情绪分析：正面、负面）。训练集不存在神奇数量的实例（我使用了 1k5 条记录）。但如果您需要科学证据，您应该根据训练集的大小分析模型的均方误差 (MSE)。

1) 最常用的方法是 TF-IDF。它对最佳特征（也包括微笑和其他符号）进行排名。你只需要设置特征的数量。同样，没有最佳数字，您应该进行测试以调整您的模型

2) 您需要为每条推文提供带有标签（正面或负面）的训练集。通常，它是由人工注释者获得的。

3) 我从未使用过布隆过滤器。

4) 通常，Tweet api 只提供大约 1-2% 的推文。我猜 Tweepy 不能给你更多。

希望对你有帮助。