如何在不等待输出的情况下请求多个页面？ [复制]

Question

我需要请求一个 URL 列表，每次通过 POST 传递不同的变量，最重要的是，我需要保存每个请求的输出。

有没有办法使用 Python 让多个 URL 请求在后台运行，这样请求就不会一次完成（就像目前一样）？

for exrow in exdata:
     id = exrow['increment_id']
     mage = requests.post(complete_url, data = {'id' : id})
     output = mage.content

     if output :
          f.writelines(output + ',')

Answer 1

您想要的是异步请求。结果不会立即返回，但这只是意味着它将在后台处理，而您的代码可以继续。稍后，当您真正需要请求的内容时，您可以检索它。有几个基于请求构建的库提供 URL 的异步调用。

• grequests
• requests-futures

它们的工作方式略有不同，但希望其中一个是您可以使用的。

我没有个人经验，但它们都带有recommendations from the official requests project。