使用 Beautiful Soup 抓取动态网站的问题

Question

我想从网站上抓取犯罪新闻文章，但汤对象没有返回所需的div 标签，谁能给我原因？

import requests
from bs4 import BeautifulSoup 

page = requests.get("https://www.nst.com.my/news/crime-courts?page=1") 
soup = BeautifulSoup(page.text, 'html.parser')
print(soup)

Answer 1

这个问题的答案太宽泛了，无法在此涵盖。你需要学习使用Selenium web driver，或者任何其他可以让你先获取源HTML的方法，然后你可以用Beautiful soup来解析它。

例如：

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Chrome()
url = "https://www.nst.com.my/news/crime-courts?page=1"
driver.get(url)
soup = BeautifulSoup(driver.page_source, 'html.parser')
driver.quit()
print(soup.prettify())

查看https://stackoverflow.com/a/47730866/2154717 或搜索 搜索“Scrape dynamic web sites with Selenium and Python”。