在 python 中进行网络抓取时尝试访问隐藏的 <div> 标签

Question

所以我试图通过使用 python 进行网页抓取从网站中提取一些数据，但一些 div 标签没有扩展以显示我想要的数据。

这是我的代码。

import requests
from bs4 import BeautifulSoup as soup
uq_url = "https://my.uq.edu.au/programs-courses/requirements/program/2451/2021"                                           
headers = {                                                                                                               
    'User-Agent': "Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.27 Safari/537.17"
web_r = requests.get(uq_url, headers=headers)                                                                             
web_soup = soup(web_r.text, 'html.parser')                                                                                
print(web_soup.prettify()) 

                                                                                           

这是代码将抓取的内容，但它不会提取 id="app" 的 div 中的任何数据。它应该有很多数据，如第二张图片。任何帮助将不胜感激。

Answer 1

所有内容都存在于脚本标签中，如图所示。您可以正则表达式输出适当的 javascript 对象，然后使用 json 处理未引用的键，以便转换为 hjson。然后提取任何你想要的：

import requests, re, hjson
from bs4 import BeautifulSoup as bs #there is some data as embedded html you may wish to parse later from json

r = requests.get('https://my.uq.edu.au/programs-courses/requirements/program/2451/2021', headers = {'User-Agent':'Mozilla/5.0'})
data = hjson.loads(re.search(r'window\.AppData = ([\s\S]+?);\n' , r.text).group(1))
# hjson.dumpsJSON(data['programRequirements'])
core_courses = data['programRequirements']['payload']['components'][1]['payload']['body'][0]['body']

for course in core_courses:
    if 'curriculumReference' in course:
        print(course['curriculumReference'])