网络爬到一张桌子

Question

我正在寻找以下网站https://www.pro14rugby.org/match-centre/results 上的表格。

有一个小部件可以在季节之间切换。在这个小部件切换器之后，所有数据都保存在表格中。

我提取的 html 仅用于小部件切换器。

我是网络抓取的新手，因此非常欢迎指出正确的方向。

我在网络中查看是否有网址可以让我通过这一点。

def download(url, user_agent='<My_Email>', num_retries=2):

    print('Downloading:', url)
    headers = {'User-Agent': user_agent}
    try:
        resp = requests.get(url, headers=headers)
        html = resp.text
        if resp.status_code >= 400:
            print('Download error:', resp.text)
            html = None
            if num_retries and 500 <= resp.status_code < 600:
                # recursively retry 5xx HTTP errors
                return download(url, num_retries - 1)
    except requests.exceptions.RequestException as e:
        print('Download error:', e)
        html = None
    return html

page='https://www.pro14rugby.org/match-centre/results'

html=download(page)

期待看到带有数据路径的 html 代码，正如我在检查时看到的那样。我知道这个小部件是动态的，所以我需要在代码中输入标准才能让每个赛季结束。非常欢迎对此提出任何建议。

谢谢

Answer 1

该网站使用jQuery 显示选中时带有季节的表格。可能无法用requests 和BeautifulSoup 刮掉它。 Selenium可以用来刮文字如下：

from selenium import webdriver
from selenium.webdriver.support.select import Select
import time

driver = webdriver.Firefox()
driver.maximize_window()

driver.get("https://www.pro14rugby.org/match-centre/results")

for i in range(18):
    s= Select(driver.find_element_by_class_name('widgetSwitcher'))
    s.select_by_index(i)
    time.sleep(6)
    val = driver.find_element_by_class_name('sotic-widget').text
    print(val.replace('REPORT',''))

driver.quit()

脚本打印表格中的所有文本并退出。