Python + requests + splinter：发出多个并发“get”请求的最快/最佳方法是什么？

Question

目前正在和其他学生一起上网络爬虫课程，我们应该向一个虚拟站点发出“获取”请求，对其进行解析，然后访问另一个站点。

问题是，虚拟站点的内容只上线了几分钟就消失了，内容每隔一段时间就会重新上线。在内容可用期间，每个人都试图发出“获取”请求，所以我的只是挂起，直到每个人都清理干净，内容最终消失。所以我最终无法成功发出“获取”请求：

import requests
from splinter import Browser    

browser = Browser('chrome')

# Hangs here
requests.get('http://dummysite.ca').text
# Even if get is successful hangs here as well
browser.visit(parsed_url)

所以我的问题是，在我得到响应之前发出无休止的并发“获取”请求的最快/最佳方式是什么？

Answer 1

来自documentation for requests：

如果远程服务器很慢，你可以告诉 Requests 等待 永远响应，通过传递 None 作为超时值，然后 取一杯咖啡。

import requests

#Wait potentially forever
r = requests.get('http://dummysite.ca', timeout=None)

#Check the status code to see how the server is handling the request
print r.status_code

Status codes 以 2 开头表示请求已被接收、理解和接受。 200 表示请求成功并返回信息。但是 503 表示服务器过载或正在维护。

请求用于包括一个称为异步的模块，它可以发送并发请求。它现在是一个名为grequests 的独立模块 您可以使用它来无休止地发出并发请求，直到 200 响应：

import grequests

urls = [
'http://python-requests.org', #Just include one url if you want
'http://httpbin.org',
'http://python-guide.org',
'http://kennethreitz.com'
]

def keep_going():
    rs = (grequests.get(u) for u in urls) #Make a set of unsent Requests
    out = grequests.map(rs) #Send them all at the same time
    for i in out:
        if i.status_code == 200:
            print i.text
            del urls[out.index(i)] #If we have the content, delete the URL
            return

while urls:
    keep_going() 

Answer 2

在这种情况下，并发不会有太大帮助，因为服务器似乎是限制因素。一种解决方案是发送一个带有超时间隔的请求，如果已超过该间隔，则在几秒钟后再次尝试该请求。然后逐渐增加重试之间的时间，直到获得所需的数据。例如，您的代码可能如下所示：

import time
import requests

def get_content(url, timeout):
    # raise Timeout exception if more than x sends have passed
    resp = requests.get(url, timeout=timeout)
    # raise generic exception if request is unsuccessful
    if resp.status_code != 200:
        raise LookupError('status is not 200')
    return resp.content


timeout = 5 # seconds
retry_interval = 0
max_retry_interval = 120
while True:
    try:
        response = get_content('https://example.com', timeout=timeout)
        retry_interval = 0        # reset retry interval after success
        break
    except (LookupError, requests.exceptions.Timeout):
        retry_interval += 10
        if retry_interval > max_retry_interval:
            retry_interval = max_retry_interval
        time.sleep(retry_interval)

# process response

如果需要并发，请考虑 Scrapy 项目。它使用 Twisted 框架。在 Scrapy 中，您可以将 time.sleep 替换为 reactor.callLater(fn, *args, **kw) 或使用数百个中间件插件之一。

Answer 3

Gevent 提供了一个运行异步网络请求的框架。

它可以修补 Python 的标准库，以便现有的库（如 requests 和 splinter）开箱即用。

下面是一个简短的示例，说明如何根据上述代码发出 10 个并发请求并获取它们的响应。

from gevent import monkey
monkey.patch_all()
import gevent.pool
import requests

pool = gevent.pool.Pool(size=10)
greenlets = [pool.spawn(requests.get, 'http://dummysite.ca')
             for _ in range(10)]
# Wait for all requests to complete
pool.join()
for greenlet in greenlets:
    # This will raise any exceptions raised by the request
    # Need to catch errors, or check if an exception was
    # thrown by checking `greenlet.exception`
    response = greenlet.get()
    text_response = response.text

也可以使用map 和响应处理函数来代替get。

更多信息请参见gevent documentation。

Answer 4

1. 决定使用requests 或splinter

   了解Requests: HTTP for Humans
   阅读Splinter

2. 相关

   了解keep-alive
   阅读blocking-or-non-blocking
   了解timeouts
   阅读errors-and-exceptions

如果你能够得到不挂起个请求，你可以考虑重复的请求，例如：

while True:
    requests.get(...
    if request is succesfull:
        break

    time.sleep(1)