如何让网页抓取更快？ Django 项目答案

【问题标题】：How to make web-scraping faster? Django project如何让网页抓取更快？ Django 项目
【发布时间】：2021-09-18 15:04:00
【问题描述】：

我正在使用 Django 框架构建一个网络抓取应用程序。我需要一些关于如何加快申请速度的提示。截至目前，加载仅通过 3 个 url 解析的页面几乎需要一分钟，这是一个问题。我需要运行得更快，因为我想在我的网页上解析多达 10 个 url。如您所见，我的代码只针对一个 div，这就是我的应用程序运行如此缓慢的原因。我想我可以尝试针对多个 div 来缩小我的“汤”的范围，但我在过去遇到了困难，所以我希望得到一些指示。

def stats(request):
    if 'user_id' not in request.session:
        return redirect('/')
    this_user = User.objects.filter(id = request.session['user_id'])
    this_stock = Stock.objects.filter(user_id = request.session['user_id'])
    progress_dict = []
    for object in this_stock:
        URL = object.nasdaq_url
        page = requests.get(URL)
        soup = BeautifulSoup(page.content, 'html.parser')
        progress = soup.find_all('div', class_='ln0Gqe')
        for number in progress:
            progress_dict.append(number.text)
    context = {
            "current_user" : this_user[0].first_name,
            "progress_dict": progress_dict,
            "this_stock": this_stock,
        }
    return render(request, "nasdaq.html", context)

【问题讨论】：

你确定没有股票API吗？我会尝试找到一个并从那里获取数据

标签： python django performance web-scraping beautifulsoup

【解决方案1】：

您可以使用线程同时抓取多个页面。查看here，here了解更多信息。

同时使用lxml 可以加快您的网页抓取速度。您可以查看here了解更多信息。

【讨论】：