我应该使用哪个 Twitter API 来提取大量推文以进行 NLP 研究？答案

【问题标题】：Which Twitter API should I use to extract large amounts of tweets for NLP research?我应该使用哪个 Twitter API 来提取大量推文以进行 NLP 研究？
【发布时间】：2013-05-21 13:33:39
【问题描述】：

我想提取尽可能多的包含给定关键字（通常是公司名称）的推文。

我一直在使用 Twitter 搜索 API，但它仅限于“最近的推文”。所以对于一个比较少见的关键词，我能得到不超过 500 条推文。

Twitter 说您不应该将 Search API 用于研究。那么，我应该使用哪个 API？

【问题讨论】：

标签： api twitter nlp

【解决方案1】：

要获得大量带有特定关键字的推文，请使用Streaming API 和Statuses/Filter。

首先，创建一个文件（例如“tracking.txt”），其中包含track 的术语，关键字以逗号分隔。这可以包括哈希标签。例如，我使用以下内容获取带有链接和某些主题标签的推文。

track=http #baby,http #family,http #children, ...

然后，使用 curl 将流重定向到文件。确保使用您的 twitter id 和密码。

curl -d @tracking.txt https://stream.twitter.com/1/statuses/filter.json -uAnyTwitterUser:Password > stream.json

【讨论】：

感谢您的回答，但恐怕这个 API 只会向我推送“新”推文，而不是过去的推文，对吗？由于我的关键字很少见，我还需要获取过去的推文。
@Blacksad 你是对的。不过，这可能仍然值得一试，因为只要有足够大的消防软管，您可能会找到足够的数据。
我试过了，对于我需要的给定关键字，我每小时收到 1 或 2 条推文。我不够耐心:)

【解决方案2】：

Twitter 不提供对历史数据的免费访问。 Datasift 和 Gnip 都在出售 Twitter 消防水管的访问权限。

【讨论】：