在推特数据的情感分析中，重复转发影响结果？答案

【问题标题】：in sentiment analysis of twitter data, repeated retweets infulence the result?在推特数据的情感分析中，重复转发影响结果？
【发布时间】：2016-11-28 09:39:14
【问题描述】：

我正在 r 中对 Twitter 数据进行情感分析。但是在数据中有更多重复的推文。 会影响结果吗？

RT @Ananduvi：今天你会支持#BharathBandh 反对#demonetization 吗？？？

RT @Ananduvi：今天你会支持#BharathBandh 反对#demonetization 吗？？？

如果是的话！那么如何处理呢。？我想从 twitter 数据集中删除那些推文。

text<- gsub("(RT|via)((?:\\b\\W*@\\w+)+ )", "", text)

此代码仅删除人名，但推文保持原样。

如果你能帮助我，我会很高兴。

【问题讨论】：

肯定会影响结果。我们可以检查与每条推文关联的推文 ID。删除重复的 ID。

标签： r twitter sentiment-analysis data-cleaning

【解决方案1】：

如果你有重复的推文，它会扭曲分析！

使用 Twitter API，您会以 JSON 格式返回推文 - 您需要将推文中的“id”字段（或更好的“id_str”字段）视为唯一标识符，并且只选择给定“id”的单个实例“在您的分析中。

{"id": 123456789, "id_str": "123456789"}

如果您确保在上面的字段中键入的每条推文只有一个实例，您将避免此问题。

【讨论】：