【问题标题】:How do I convert Twitter data to csv file?如何将 Twitter 数据转换为 csv 文件?
【发布时间】:2020-07-01 00:20:53
【问题描述】:

我正在分析 Twitter 数据并使用 rtweet 包来访问我需要的数据。大多数情况下它工作正常,我得到了我想要的推文。我的问题是,我需要将数据转换为 csv 文件,以便可以在 Excel 中打开它。

我尝试使用以下代码保存为 csv,但是当我在 Excel 中打开它时,一切都搞砸了。 write_as_csv(denmarkdotdk_tweets_organic, file_name = "DK1tweets.csv", prepend_ids = TRUE, na ="", fileEncoding = "UTF-8") save_as_csv(denmarkdotdk_tweets_organic, file_name="DK1tweets.csv", prepend_ids = TRUE, na = "", fileEncoding = "UTF-8")

到目前为止,我已经通过下面显示的命令下载了数据。我希望有人能解答我的问题:)

#timeline for denmarkdotdk
denmarkdotdk <- get_timeline("@denmarkdotdk", n=3200)
denmarkdotdk

#remove retweets
denmarkdotdk_tweets_organic <- denmarkdotdk[denmarkdotdk$is_retweet==FALSE,] 

#remove replies
denmarkdotdk_tweets_organic <- subset(denmarkdotdk_tweets_organic, is.na(denmarkdotdk_tweets_organic$reply_to_status_id))
denmarkdotdk_tweets_organic

【问题讨论】:

  • 您的 Excel 是什么语言环境?例如。在一些欧洲国家,分隔符是“;”而不是逗号 (",")。
  • 我在丹麦。我试过 na = ";"现在,但它似乎没有帮助。我在某处读到需要将其转换为数据框,然后才能将其转换为可读的 csv。但在尝试了几种方法后,我仍然无法让它工作。也许我做错了什么
  • 你能解释一下“搞砸”是什么意思吗?您可以检查您是否有 class(denmarkdotdk_tweets_organic) 的数据框。
  • 查看 R 中的数据时,它看起来完美地组织了正确的行和列。但是当我打开 csv 文件时,数据位于各种随机位置。行和列都没有了,数据散落在整个文件中
  • 你试过write.csv和它的兄弟write.csv2吗?

标签: r csv twitter rtweet


【解决方案1】:

请重试您的数据下载:

library(rtweet)
df <- search_tweets("@denmarkdotdk", n = 3200, include_rts = FALSE, retryonratelimit = TRUE)     #no retweets included
save_as_csv(df, "df.csv", prepend_ids = TRUE, na = "", fileEncoding = "UTF-8")

..并且使用您的方法也适用于:

library(twitteR)
#timeline for denmarkdotdk
denmarkdotdk <- get_timeline("@denmarkdotdk", n=3200)
df <- as.data.frame(denmarkdotdk)
head(df)
#remove retweets
df1<- df[df$is_retweet==FALSE,] 
head(df1)
df2 <- df1[df1$reply_to_status_id=="NA",]
dim(df2)
head(df2)
df3  <- subset(df1,is.na(df1$reply_to_status_id))  # -replies
head(df3)
dim(df3)

save_as_csv(df3,"df3.csv",prepend_ids = TRUE, fileEncoding = "UTF-8")

【讨论】:

  • 嘿,我试过你的方法。但是,rtweet 代码行也会下载不是来自配置文件 denmarkdotdk 时间线的推文。我也尝试过使用 TwitteR,但它无法处理推文中的内容,例如表情符号……
  • 您可能需要在下载/管理关键字后进行过滤 - 参见cran.r-project.org/web/packages/rtweet/rtweet.pdf。 rtweet 工作如上所示,它是目前更好的包 - 查看使用详情、过滤和功能比较:github.com/ropensci/rtweet。如果以上/以上有用,请采纳答案/vote+,谢谢。
  • 非常感谢您的帮助。我很感激。但是,在 excel 中打开时,osv 文件仍然很乱。文本在错误的列等...
  • 令人惊讶的是,我刚刚用它下载了超过一百万条关于 COVID 的推文(花了很长时间)——它运行得非常好。 .csv 会正常打开 - 尝试使用上面的 library(rtweet) .... method
  • 很奇怪它对你有用,但对我没用。我已经尝试了上面的 library(tweet) 方法。它在 R 中看起来很完美。所有列都包含正确的信息。但是,一旦将 csv 文件转换为 Excel,它就会变得一团糟。有点问题,因为我需要对推文进行简单的随机抽样以进行内容分析。
猜你喜欢
  • 1970-01-01
  • 2020-01-27
  • 2019-09-11
  • 1970-01-01
  • 2013-09-09
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2021-05-15
相关资源
最近更新 更多