从包含存档链接的网站中提取 URL

Question

我正在抓取一个新闻网站以提取所有链接，包括新闻网站典型的存档链接。网站here 有一个按钮View More Stories，用于加载更多网站文章。现在下面这段代码

def find_urls():
start_url = "e.vnexpress.net/news/business"
r = requests.get("http://" + start_url)
data = r.text
soup = BeautifulSoup(data, "html.parser")
links = soup.findAll('a')
url_list = []
for url in links:
    all_link = url.get('href')
    if all_link.startswith('http://e.vnexpress.net/news/business'):
        url_list.append(all_link)
return set(url_list)

成功加载了相当多的url，但是我如何在这里加载更多的是按钮的sn-p

<a href="javascript:void(0)" id="vnexpress_folder_load_more" data-page="2"
                           data-cate="1003895">
                            View more stories
                        </a>

谁能帮帮我。谢谢。

Answer 1

您可以使用 selenium 之类的浏览器单击按钮，直到按钮消失或禁用。最后，您可以一次使用 beautifulsoup 抓取整个页面。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

#initializing browser
driver = webdriver.Firefox()
driver.set_window_size(1120, 550)

driver.get("http://e.vnexpress.net/news/news")

# run this till button is present
elem = driver.find_element_by_id('vnexpress_folder_load_more'))
elem.click()