使用 Python 抓取网页答案

【问题标题】：Scraping Webpage using Python使用 Python 抓取网页
【发布时间】：2013-04-29 16:59:04
【问题描述】：

我正在使用 selenium 访问我的学校成绩，之后我希望能够从网站上抓取我的成绩，但我不知道如何

这是我的登录代码：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.PhantomJS("C:\Python27\phantomjs-1.9.0-windows\phantomjs.exe") 
driver.get("https://ps.rsd.edu/public/")

elem = driver.find_element_by_name("account")
elem.send_keys("Username")
elem2 = driver.find_element_by_name("pw")
elem2.send_keys("Password")
elem.send_keys(Keys.RETURN)

driver.quit()

print "done"

我认为最简单的方法是使用 Beautifulsoup，但我不确定

【问题讨论】：

好吧，我想我可以做到，但我想从网站上获取成绩，如果窗口不存在，我可以做截图吗，因为我用 phantomjs 运行驱动程序
所以我可以使用 selenium 来获取信息并将其返回，因为这只是一个更大的程序的一部分，它会记录我的成绩并将其作为我的桌面背景

标签： python selenium web-scraping beautifulsoup

【解决方案1】：

我会在这里回答这个问题，因为另一个问题是关于如何使用 Beautifulsoup 解析表格。

所以给定http://gist.github.com/C-Dubb/5522909的表格

for cell in driver.find_elements_by_css_selector(".grid tr a[href$='fg=S2']"):
    print cell.text
    # if you want the number only, you need to strip the grades here
    # also need to check if S2 cell is empty or not

【讨论】：