网站抓取特定表格

Question

对于一个课外学校项目，我正在学习如何抓取网站。正如您在下面的代码中看到的那样，我可以从一页上刮下一个名为“elqFormRow”的表单。

如何在整个website 上刮掉所有出现的“elqFormRow”？我想将该表单所在位置的 URL 返回到列表中，但是这样做时遇到了麻烦，因为我不知道如何大声笑。

import bs4 as bs
import urllib.request

sauce = urllib.request.urlopen('http://engage.hpe.com/Template_NGN_Convert_EG-SW_Combined_TEALIUM-RegPage').read()

soup = bs.BeautifulSoup(sauce, 'lxml')

for div in soup.find_all('div', class_='elqFormRow'):
    print(div.text.strip())

Answer 1

您可以从页面中获取 URL，然后按照它们（大概）抓取整个网站。像这样的东西，这取决于你想从哪里开始以及你想要什么页面需要一点按摩：

import bs4 as bs
import requests

domain = "engage.hpe.com"
initial_url = 'http://engage.hpe.com/Template_NGN_Convert_EG-SW_Combined_TEALIUM-RegPage'

# get urls to scrape
text = requests.get(initial_url).text
initial_soup = bs.BeautifulSoup(text, 'lxml')
tags = initial_soup.findAll('a', href=True)

urls = []
for tag in tags:
    if domain in tag:
        urls.append(tag['href'])
urls.append(initial_url)

print(urls)

# function to grab your info
def scrape_desired_info(url):
    out = []
    text = requests.get(url).text
    soup = bs.BeautifulSoup(text, 'lxml')
    for div in soup.find_all('div', class_='elqFormRow'):
        out.append(div.text.strip())
        return out



info = [scrape_desired_info(url) for url in urls if domain in url]

URLlib 很臭，使用请求。如果您需要在站点中向下访问多个级别，请将 URL 查找部分放在一个函数中并调用它 X 次，其中 X 是您要遍历的链接级别数。

负责任地刮擦。尽量不要陷入巫师学徒的境地，在循环中一遍又一遍地访问站点，或者跟随站点外部的链接。一般来说，我也不会提出您要抓取的页面的问题。