如何更好地循环进入我的网络爬虫？

Question

我正在尝试通过使刮刀刮取页面上每个项目的链接来刮取网站搜索页面，然后再次解析刮取的链接并从该链接中刮取某些信息。我遇到的问题是，如果初始链接已被抓取，我想遍历每个链接并从中抓取数据，但它目前只抓取链接列表中的第一个值。我想问题出在我的 for 循环上。

这是我当前的代码。

productLinks = []
carMake = [] 


url = "https://buy.cars45.com/cars"
headers = {"Accept-Language": "en-US, en;q=0.5"}


searchResults = requests.get(url, headers=headers)
soup = BeautifulSoup(searchResults.text, "html.parser")

searchlinks = soup.find_all('div', class_='product_box')

for i in searchlinks:
    a = i.find('a').get('href')
    if a:
        productLinks.append(a)
#         print(a)
    else:
        productLinks.append('kNone')


for j in productLinks:
    productPage = requests.get(j, headers=headers)
     soup2 = BeautifulSoup(productPage.text, "html.parser")

     details = soup2.find_all('span', class_='float-right')

     make = details[0].text
     carName.append(make)

但它只是返回重复多次的第一辆车作为输出。

Answer 1

如果我理解正确，这应该可以工作

import requests
from bs4 import BeautifulSoup
url ='https://www.lbbusinessjournal.com/'

r = requests.get(url)
soup = BeautifulSoup(r.text, 'html.parser')

links = []

for post in soup.find_all(['h3', 'li'], class_=['entry-title td-module-title', 'menu-item']):
  link = post.find('a')
  if link:
      link = link.get('href')
      links.append(link)
      print(len(link))
      print(link)

for i in links:
  r2 = requests.get(i)
  soup1 = BeautifulSoup(r2.text, 'html.parser')

  for post1 in soup1.find_all('h3', class_='entry-title td-module-title'):
      link1 = post1.find('a')
      if link1: 
          print(link1.text)

当我运行你的代码时，它给出了一些错误，所以如果这是你的问题， 您应该检查post1.find('a') 是否返回None。如果post1 不包含<a> 标记，就会发生这种情况。