如何从 twitter API 中提取历史推文？ [关闭]答案

【问题标题】：How to extract the historical tweets from twitter API? [closed]如何从 twitter API 中提取历史推文？ [关闭]
【发布时间】：2016-02-06 14:08:45
【问题描述】：

我们需要一些电影的历史推文。现在，我们尝试了来自 twitter 的流 API 和搜索 API。流式 API 无法给我们一个参数来选择我们需要的时间范围，而搜索 API 只能提前一到两周给我们数据。我们有没有办法提取从 2014-05-01 到 2014-07-01 的历史推文（例如）？我发现以下方法可以做到这一点：

1：推特高级搜索 https://twitter.com/search-advanced?lang=en 它可以找到我需要的搜索结果。但是我怎么能下载搜索结果呢？有没有办法写代码保存搜索结果？

2：使用topsy之类的twitter分析网站。但是保存结果也有困难。

3：似乎一些像 twitter4J 这样的包可以帮助解决这个问题： http://twitter4j.org/en/code-examples.html 是否有任何 python 或 R 包可以帮助我们做到这一点？

4：我们需要这些数据进行研究。花很长时间提取数据并不是一个好的选择。有没有什么专业的网站可以买到这些数据？

【问题讨论】：

您可以从 Twitter 的认证数据经销商之一购买数据，请参阅 dev.twitter.com/programs/twitter-certified-products 或 blog.scraperwiki.com/2014/08/…
看来 Gnip 很有前途。

标签： python r api twitter web

【解决方案1】：

您可以使用 Gnip 的 Historical Powertrack 产品来执行此操作，但这是针对企业而非研究人员的商业产品。

抓取 Twitter 网站违反了服务条款和开发者政策。

公共搜索 API 仅支持 7-9 天的数据，因此即使使用 twitteR 或 tweepy（R 和 Python 选项）也无法检索您尝试访问期间的数据。

【讨论】：

谢谢~~~我已经联系了GNIP，看看他们是否可以把数据卖给我们。

【解决方案2】：

您可以使用以下库 https://github.com/Jefferson-Henrique/GetOldTweets-python 在 Twitter 中获取旧推文。

使用 GetOldTweets-python 作为 Python 中的当前目录

 cd GetOldTweets-python

然后执行以下操作

在 Python 中，

import got
tweetCriteria = got.manager.TweetCriteria().setQuerySearch('search_term').setSince("2014-05-01").setUntil("2014-07-01").setMaxTweets(10000)
tweet = got.manager.TweetManager.getTweets(tweetCriteria)[0]

print tweet.text

在终端中，

python Exporter.py --querysearch 'search_term' --since 2014-05-01 --until 2014-07-01 --maxtweets 10000

将“search_term”替换为搜索词。

【讨论】：

虽然这看起来很明显，但请确保通过命令 cd C:\Users\UserName\Documents\Folder\WhereTheFileExporterIsLocated 将您的 cmd 提示终端连接到 Exporter.py 文件所在的位置。
@user3553260 是的，这是真的。 :)

【解决方案3】：

几个月前，Twitter 推出了其高级 API，您可以通过该 API 提取从 2006 年至今的 Twitter 历史数据。它们让开发者购买 Twitter 数据变得非常容易。

这是查看此内容的链接：https://developer.twitter.com/en/premium-apis.html

要获得 Twitter 高级 API 的访问权限，您需要访问 Twitter 开发者的帐户。

如果您在技术上不健全，并且想要最容易获得历史 Twitter 数据，那么您可以使用第三方服务，例如 TrackMyHashtag、Sifter、Gnip、Infegy。

【讨论】：