快速 Python 多线程处理 5000 个请求

Question

我有 5000 个 url 来发出请求并检查每个 url 源中的特定单词

我想尽快完成，我是 python 新手

这是我的代码

import requests
def checkurl(url):
    r = requests.get(url)
    if 'House' in r.text:
        return True
    else:
        return False

如果我使用 for 循环会花费很多时间，所以我需要一个解决方案 用于多线程或多处理

提前感谢您的帮助:)

Answer 1

查看 scrapy（https://scrapy.org/），有适合您的工具。

根据我的经验，scrapy 比仅仅下载“字符串”要好，因为 requests.get 并没有（例如）实际呈现页面。

如果您想以任何方式处理请求（手写，因此可能包含拼写/其他错误）：

import requests
from multiprocessing import ThreadPool    

def startUrlCheck(nr):
   pool = ThreadPool(threads)
   results = pool.map(checkurl, YourUrls)
   pool.close()
   pool.join()
   # Do something smart with results
   return results

def checkurl(url):
    r = requests.get(url)
    if 'House' in r.text:
        return True
    else:
        return False