【发布时间】:2017-11-28 21:39:01
【问题描述】:
我正在使用 BeautifulSoup 从网站上抓取数据。无论出于何种原因,我似乎无法找到一种方法来打印 span 元素之间的文本。这是我正在运行的内容。
data = """ <div class="grouping">
<div class="a1 left" style="width:20px;">Text</div>
<div class="a2 left" style="width:30px;"><span
id="target_0">Data1</span>
</div>
<div class="a3 left" style="width:45px;"><span id="div_target_0">Data2
</span></div>
<div class="a4 left" style="width:32px;"><span id="reg_target_0">Data3
</span</div>
</div>
"""
我的最终目标是能够为每个条目打印一个列表 ["Text", "Data1", "Data2"]。但现在我无法让 python 和 urllib 在 .这是我正在运行的:
import urllib
from bs4 import BeautifulSoup
url = 'http://target.com'
html = urllib.urlopen(url).read()
soup = BeautifulSoup(html, "lxml")
Search_List = [0,4,5] # list of Target IDs to scrape
for i in Search_List:
h = str(i)
root = 'target_' + h
taggr = soup.find("span", { "id" : root })
print taggr, ", ", taggr.text
当我使用 urllib 时,它会生成:
<span id="target_0"></span>,
<span id="target_4"></span>,
<span id="target_5"></span>,
不过,我也下载了 html 文件,当我解析下载的文件时,它会产生这个输出(我想要的那个):
<span id="target_0">Data1</span>, Data1
<span id="target_4">Data1</span>, Data1
<span id="target_5">Data1</span>, Data1
谁能向我解释为什么 urllib 不产生结果?
【问题讨论】:
-
请给出你要解析的网站的真实网址
标签: python web-scraping beautifulsoup urllib