尝试获取下一个 url 时 Bs4 失败

Question

有我的代码

def parser():
    flag = True
    url = 'https://quotes.toscrape.com'
    while flag:
        responce = requests.get(url)
        soup = BeautifulSoup(responce.text, 'html.parser')
        quote_l = soup.find_all('span', {'class': 'text'})
        q_count = 0
        for i in range(len(quote_l)):
            if q_count >= 5:
                flag = False
                break
            quote = soup.find_all('span', {'class': 'text'})[i]
            if not Quote.objects.filter(quote=quote.string).exists():
                author = soup.find_all('small', {'class': 'author'})[i]
                if not Author.objects.filter(name=author.string).exists():
                    a = Author.objects.create(name=author.string)
                    Quote.objects.create(quote=quote.string, author_id=a.id)
                    q_count += 1
                else:
                    a = Author.objects.get(name=author.string)
                    Quote.objects.create(quote=quote.string, author_id=a.id)
                    q_count += 1


        url += soup.find('li', {'class': 'next'}).a['href']

我需要获取下一页，但我有这个 Exc。 “NoneType”对象没有属性“a”

如何解决这个问题，也许我可以如何优化我的 Code.Thx

Answer 1

到达最后一页后，将没有 Next 按钮，因此您需要在尝试访问下一页的 href 之前检查退出条件。一种可能是在当前最后一行之前添加以下行：

next_page = soup.find('li', {'class': 'next'})
if not next_page: flag = False  # or return

或者只是 return 在这一点上。

当然，您还需要更新最后一行以使用该变量，并确保您不会连续扩展带有下一页后缀的 url。例如，可以在请求调用期间添加后缀：

def parser():
    flag = True
    url = 'https://quotes.toscrape.com'
    suffix = ''

    while flag:
        responce = requests.get(url + suffix)
        soup = BeautifulSoup(responce.text, 'html.parser')
        # other code
        
        
        next_page = soup.find('li', {'class': 'next'})

        if not next_page: 
            return
        suffix = next_page.a['href']