【问题标题】:Twitter Scraper giving 420 ErrorTwitter Scraper 给出 420 错误
【发布时间】:2013-04-25 08:07:38
【问题描述】:

我在使用以下代码抓取 twitter 以获取推文时收到以下错误:

import scraperwiki
import simplejson
import urllib2

# Change QUERY to your search term of choice. 
# Examples: 'newsnight', 'from:bbcnewsnight', 'to:bbcnewsnight'
QUERY = '#opendata'
RESULTS_PER_PAGE = '100'
LANGUAGE = 'en'
NUM_PAGES = 1000 

for page in range(1, NUM_PAGES+1):
    base_url = 'http://search.twitter.com/search.json?q=%s&rpp=%s&lang=%s&page=%s' \
     % (urllib2.quote(QUERY), RESULTS_PER_PAGE, LANGUAGE, page)
    try:
    results_json = simplejson.loads(scraperwiki.scrape(base_url))
    for result in results_json['results']:
        #print result
        data = {}
        data['id'] = result['id']
        data['text'] = result['text']
        data['from_user'] = result['from_user']
        data['created_at'] = result['created_at']
        print data['from_user'], data['text']
        scraperwiki.sqlite.save(["id"], data) 
   except:
    print 'Oh dear, failed to scrape %s' % base_url
    break

失败:420 客户端错误 (420) 响应时间:479 毫秒,http://search.twitter.com/search.json?q=opendata&rpp=100&lang=en&page=1

请帮忙。相同的代码似乎适用于其他人的具有相同代码here的刮刀

【问题讨论】:

  • 您遇到了什么异常?

标签: python twitter scraperwiki


【解决方案1】:

Twitter 的第 1 版搜索和趋势 API 提供错误代码 420,告诉您“增强冷静”,当您受到速率限制时。更多信息请见here

【讨论】:

    猜你喜欢
    • 2017-01-03
    • 2020-03-02
    • 2013-11-02
    • 2012-12-15
    • 1970-01-01
    • 2022-12-27
    • 2017-06-18
    • 1970-01-01
    • 2017-02-27
    相关资源
    最近更新 更多