【发布时间】：2015-06-18 05:22:06
【问题描述】：
我正在尝试使用 twitter api 抓取搜索结果。每次请求后，程序将休眠 60 秒并继续。但问题是两个请求的结果几乎相同。如何避免这种情况？
【问题讨论】：
-
检查 Twitter API 是否发送 ETags。
-
更好的是，使用流式 API。特别针对您的情况，您应该使用Public Streams API。 "适合关注特定用户或主题，以及数据挖掘。"
-
如果我们不知道您的请求和请求逻辑，很难看出您的问题是什么。但似乎您正在运行完全相同的查询，而人们只是不经常使用 yojr 搜索词？不要重新搜索，而是使用流式 API！
标签： python twitter web web-scraping scrapy