【问题标题】:Scrape Table Data from Website从网站上抓取表数据
【发布时间】:2013-05-21 16:46:50
【问题描述】:

我正在尝试使用 BeautifulSoup4 和 Python 从网站上抓取表格数据,然后使用结果创建一个 Excel 文档。到目前为止,我有这个:

import urllib2
from bs4 import BeautifulSoup

soup = BeautifulSoup(urllib2.urlopen('http://opl.tmhp.com/ProviderManager/SearchResults.aspx?TPI=&OfficeHrs=4&ProgType=STAR&UCCIndicator=No+Preference&Cnty=&NPI=&Srvs=6&Age=All&Gndr=B&SortBy=Distance&ZipCd=78552&SrvsOfrd=0&SpecCd=0&Name=&CntySrvd=0&Plan=H3&WvrProg=0&SubSpecCd=0&AcptPnt=Y&Rad=200&LangCd=99').read())

for row in soup('table', {'class' : 'spad'})[0].tbody('tr'):
    tds = row('td')
    print tds[0].string, tds[1].string

但它无法显示数据。

有什么想法吗?

【问题讨论】:

  • 我在该页面上看不到“spad”类 - 你确定它是正确的吗?

标签: python web-scraping beautifulsoup


【解决方案1】:

首先是StandardResultsGrid,而不是spad。

其次,您不需要tbody 的东西。只需使用:

for row in soup('table', {'class' : 'StandardResultsGrid'})[0]('tr'):

另外请注意,由于在 原始页面由于某种原因,带有标题的行包含在tbody中,您必须跳过第一行,所以

for row in soup('table', {'class' : 'StandardResultsGrid'})[0]('tr')[1:]

请注意,某些单元格中包含tables,因此您必须仔细解析tds 的内容。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2013-03-14
    • 1970-01-01
    • 2014-07-06
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多