【问题标题】:How to web scrape a page that has part static and part dynamic content?如何网页抓取具有部分静态和部分动态内容的页面?
【发布时间】:2019-09-03 15:05:51
【问题描述】:

编辑:可能的重复并不能解决我的问题,因为我也尝试使用无头浏览器但没有成功。该问题并未解释如何使用无头浏览器来完成此任务或类似任务。

我正在抓取这个页面:

https://www.finishline.com/store/men/shoes/_/N-1737dkj?mnid=men_shoes#/store/men/shoes/nike/adidas/jordan/under-armour/puma/new-balance/reebok/champion/timberland/fila/lacoste/converse/_/N-1737dkjZhtjl46Zh51uarZvnhst2Zu4e113Z16ggje2Z1alnhbgZ1lzobj2Z7oi4waZ1hzyzukZm0ym0nZj4k440Zdshbsy?mnid=men_shoes

前 12 个产品是自动加载的(不使用 JS),然后其他(我相信是 48 个?)产品在用户向下滚动一点后加载。

这个sn-p:

import requests
import csv
import io
import os
import re
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
from datetime import datetime
from bs4 import BeautifulSoup

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
    }

url_list2 = []


data2 = requests.get("https://www.finishline.com/store/men/shoes/_/N-1737dkj?mnid=men_shoes#/store/men/shoes/nike/adidas/jordan/under-armour/puma/new-balance/reebok/champion/timberland/fila/lacoste/converse/_/N-1737dkjZhtjl46Zh51uarZvnhst2Zu4e113Z16ggje2Z1alnhbgZ1lzobj2Z7oi4waZ1hzyzukZm0ym0nZj4k440Zdshbsy?mnid=men_shoes",headers=headers)
soup2 = BeautifulSoup(data2.text, 'html.parser')

x = soup2.findAll('div', attrs={'class': 'product-card'})
for url2 in x:
    get_urls = "https://www.finishline.com"+url2.find('a')['href']
    url_list2.append(get_urls)
print(url_list2)

会得到12个独立于JS的产品(这可以通过在Chrome设置中关闭JS来检查)。但是打开 JS 后,页面上有 60 个(或 59 个)产品。

如何使用 BS4 获得所有产品?我也尝试过 Selenium,但是使用它会出现不同的错误。

在 Selenium 尝试中,我设法获得了页面上显示的所有 59 种产品。我正在使用此代码获取所有产品页面的 URL,以便进一步抓取。

import requests
import csv
import io
import os
import time
from datetime import datetime
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
from selenium.webdriver import DesiredCapabilities
from bs4 import BeautifulSoup,Tag

page = "https://www.finishline.com/store/men/shoes/_/N-1737dkj?mnid=men_shoes#/store/men/shoes/nike/adidas/jordan/under-armour/puma/new-balance/reebok/champion/timberland/fila/lacoste/converse/_/N-1737dkjZhtjl46Zh51uarZvnhst2Zu4e113Z16ggje2Z1alnhbgZ1lzobj2Z7oi4waZ1hzyzukZm0ym0nZj4k440Zdshbsy?mnid=men_shoes"

url_list2 = []

page_num = 0
#session = requests.Session()
while page_num <1160:
    driver = webdriver.Chrome()
    driver.get(page)
    getproductUrls = driver.find_elements_by_class_name('product-card')
    for url2 in getproductUrls:
        get_urls = "https://www.finishline.com"+url2.find_element_by_tag_name('a').get_attribute("href")
        url_list2.append(get_urls)
        print(url_list2)
    driver.close()

    page = "https://www.finishline.com/store/men/shoes/_/N-1737dkj?mnid=men_shoes#/store/men/shoes/nike/adidas/jordan/under-armour/puma/new-balance/reebok/champion/timberland/fila/lacoste/converse/_/N-1737dkjZhtjl46Zh51uarZvnhst2Zu4e113Z16ggje2Z1alnhbgZ1lzobj2Z7oi4waZ1hzyzukZm0ym0nZj4k440Zdshbsy?mnid=men_shoes&No={}".format(page_num)
    page_num +=40

但是,过了一会儿,错误

raise exception_class(message, screen, stacktrace, alert_text)
selenium.common.exceptions.UnexpectedAlertPresentException: Alert Text: None
Message: unexpected alert open: {Alert text : something went wrong}

发生,因为站点检测到异常活动。如果我在浏览器中打开网站 finishline.com,我会收到“拒绝访问”消息,并且必须清除我的 cookie 并刷新它才能再次工作。显然,在弹出此消息之前,我的脚本还没有完成。

有人知道解决方案吗?提前谢谢你。

【问题讨论】:

标签: python selenium web-scraping beautifulsoup


【解决方案1】:

内容在页面源中可用。您不能仅使用请求来获取所有这些,因为它们中的大多数都在脚本标记中。此外,您需要找到可以用来遍历多个页面的适当 url。这是right one,您可以使用 chrome 开发工具获取它。目前以下脚本可以抓取 120 个产品。您可以根据自己的喜好更改范围。

你可以这样做:

import requests
from bs4 import BeautifulSoup

url = "https://www.finishline.com/store/men/shoes/nike/adidas/jordan/under-armour/puma/new-balance/reebok/champion/timberland/fila/lacoste/converse/_/N-1737dkjZhtjl46Zh51uarZvnhst2Zu4e113Z16ggje2Z1alnhbgZ1lzobj2Z7oi4waZ1hzyzukZm0ym0nZj4k440Zdshbsy?"

qsp = {
    'mnid': 'men_shoes_nike_adidas_jordan_underarmour_puma_newbalance_reebok_champion_timberland_fila_lacoste_converse',
    'No': 0,
    'isAjax': True
}


container = []

for page_content in range(0,120,40):
    qsp['No'] = page_content
    res = requests.get(url,params=qsp,headers={"User-Agent":"Mozilla/5.0"})
    soup = BeautifulSoup(res.text, 'lxml')
    for item in soup.select(".product-card__details .product-name"):
        container.append(item.get_text(strip=True))

    for items in soup.select("script"):
        sauce = BeautifulSoup(items.text,"lxml")
        for elem in sauce.select(".product-card__details .product-name"):
            container.append(elem.get_text(strip=True))

for product in container:
    print(product)

顺便说一句,我可以在每个页面中看到 40 个产品。也许每个页面中的产品数量因国家/地区而异。将其 range(0,120,40) 更改为您可以在每页中看到的数量。

【讨论】:

  • 非常感谢!我很抱歉这么晚才回复。我能够使用这段代码来实现我想要的!您能否解释一下您是如何通过 Chrome 开发工具获取 URL 的?您是否自己构建了 URL?
猜你喜欢
  • 1970-01-01
  • 2014-05-08
  • 2019-01-13
  • 1970-01-01
  • 2018-06-15
  • 2015-04-28
  • 2020-05-24
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多