【发布时间】:2015-03-08 09:59:02
【问题描述】:
我正在尝试构建一个用于学术目的的蜘蛛/网络爬虫,以从学术出版物中获取文本并将相关链接附加到 URL 堆栈。我正在尝试抓取 1 个名为“PubMed”的网站。我似乎无法获取我需要的链接。这是我的代码示例页面,这个页面应该代表他们数据库中的其他页面:
website = 'http://www.ncbi.nlm.nih.gov/pubmed/?term=mtap+prmt'
from bs4 import BeautifulSoup
import requests
r = requests.get(website)
soup = BeautifulSoup(r.content)
为了便于阅读,我将 html 树分解为几个变量,以便它们都适合 1 个屏幕宽度。
key_text = soup.find('div', {'class':'grid'}).find('div',{'class':'col twelve_col nomargin shadow'}).find('form',{'id':'EntrezForm'})
side_column = key_text.find('div', {'xmlns:xi':'http://www.w3.org/2001/XInclude'}).find('div', {'class':'supplemental col three_col last'})
side_links = side_column.find('div').findAll('div')[1].find('div', {'id':'disc_col'}).findAll('div')[1]
for link in side_links:
print link
如果您使用 chrome inspect 元素查看 html 源代码,则应该有几个其他嵌套的 div 带有在“side_links”中的链接。但是上面的代码会产生以下错误:
Traceback (most recent call last):
File "C:/Users/ballbag/Copy/web_scraping/google_search.py", line 22, in <module>
side_links = side_column.find('div').findAll('div')[1].find('div', {'id':'disc_col'}).findAll('div')[1]
IndexError: list index out of range
如果您转到网址,右侧有一列名为“相关链接”的列,其中包含我希望抓取的网址。但我似乎无法接近他们。在我试图进入的 div 下有一个声明,我怀疑这与它有关。任何人都可以帮助获取这些链接吗?我真的很感激任何指针
【问题讨论】:
-
我在该页面上没有看到任何
related links -
抱歉 'pubmed 中的相关引用'
标签: python html web-scraping beautifulsoup html-parsing