使用 Beautiful Soup 循环多个 div 的问题

Question

下面是我使用 BS4 进行抓取的 Python 代码。当我尝试运行循环时，它会打印相同的数据，请告诉我如何在 python 中运行分页循环。

import requests
from bs4 import BeautifulSoup as bs

url = 'https://www.yellowpages.com/los-angeles-ca/restaurants'

page = requests.get(url)

soup = bs(page.content,'html.parser')
#print(len(soup))

containers = soup.find_all("div",{"class","v-card"})
#print(containers[0])

name = containers.find_all("a",{"class","business-name"})
print(name[0].get_text())

phone = soup.find_all("div",{"class","phone"})
#print(phone[0].get_text())

add = soup.find_all("p",{"class","adr"})
#print(add[0].get_text())


for items in containers: 
    name_soup = containers.find("a",{"class","business-name"})
    print(name_soup)

Answer 1

这一行会给你一个错误-

name = containers.find_all("a",{"class","business-name"})

因为 containers 是一个列表，而不是可以调用 find_all() 方法的单个元素。

您需要在循环中访问 containers，因为它是您在上一行中提取的 div 标签列表。

这是您的上一行，您在其中提取列表中的所有 div 标记（具有 class=v-card）-

containers = soup.find_all("div",{"class","v-card"})

Answer 2

for items in containers: 
    name_soup = containers.find("a",{"class","business-name"})
    print(name_soup)

您没有使用您的 items 变量；您一直在 containers 中搜索。

使用items.find(...)。

请告诉我如何在 python 中运行分页循环。

这要广泛得多，实际上取决于目标网站。查看当您单击站点上的（下一页）按钮时发生的变化。通常它只是一个查询字符串参数（例如?p=3）。然后在你的 GET 中复制它。