大学课程网站的网页抓取/解析

【问题标题】：web scraping/parsing of college course site大学课程网站的网页抓取/解析
【发布时间】：2023-03-15 21:20:01
【问题描述】：

试图解析/抓取孟菲斯的课程网站。该网站是“https://spectrumssb2.memphis.edu/pls/PROD/bwckgens.p_proc_term_date”。它似乎是某种 javascript 问题，或文本的动态生成。我可以使用 livehttpdheaders/Firefox 看到底层 DOM 结构，但当我只是查看页面的底层源/文本时却看不到..

想法/评论/指针将不胜感激......

【问题讨论】：

哦..忘了说。一旦我弄清楚如何实际访问底层文本/数据，我最终将使用 python/urllib/mechanize 来解析站点。谢谢！
没有登录就无法查看。

标签： parsing screen-scraping

【解决方案1】：

在现代，网站可以通过几个步骤组装起来。首先引入主结构，然后通常根据用户的身份执行附加的 AJAX 调用。最好的办法是嗅探 HTTP 以查看在最初请求的站点和完全构建站点之间发出了什么样的请求

由于您使用的是 firebug，您可以获得HttpFox add-on，它可以满足您的需求

【讨论】：

嘿...感谢您的回复。看起来这是在浏览器中设置 cookie 的问题。当cookies被禁用时，我可以看到源/文本，操作系统我需要创建一个快速python测试来获取带有cookies的url的文本，以查看文本是否通过......谢谢！