【问题标题】:Scraping <span>flow text</span> with BeautifulSoup and urllib使用 BeautifulSoup 和 urllib 抓取 <span>flow text</span>
【发布时间】:2017-11-28 21:39:01
【问题描述】:

我正在使用 BeautifulSoup 从网站上抓取数据。无论出于何种原因,我似乎无法找到一种方法来打印 span 元素之间的文本。这是我正在运行的内容。

data = """ <div class="grouping">
     <div class="a1 left" style="width:20px;">Text</div>
     <div class="a2 left" style="width:30px;"><span 
     id="target_0">Data1</span>
   </div>
   <div class="a3 left" style="width:45px;"><span id="div_target_0">Data2
   </span></div>
   <div class="a4 left" style="width:32px;"><span id="reg_target_0">Data3
   </span</div>
</div>
"""

我的最终目标是能够为每个条目打印一个列表 ["Text", "Data1", "Data2"]。但现在我无法让 python 和 urllib 在 .这是我正在运行的:

import urllib
from bs4 import BeautifulSoup

url = 'http://target.com'
html = urllib.urlopen(url).read()
soup = BeautifulSoup(html, "lxml")

Search_List = [0,4,5] # list of Target IDs to scrape

for i in Search_List:
    h = str(i)
    root = 'target_' + h
    taggr = soup.find("span", { "id" : root })
    print taggr, ", ", taggr.text

当我使用 urllib 时,它会生成:

<span id="target_0"></span>, 
<span id="target_4"></span>, 
<span id="target_5"></span>, 

不过,我也下载了 html 文件,当我解析下载的文件时,它会产生这个输出(我想要的那个):

<span id="target_0">Data1</span>, Data1 
<span id="target_4">Data1</span>, Data1
<span id="target_5">Data1</span>, Data1

谁能向我解释为什么 urllib 不产生结果?

【问题讨论】:

  • 请给出你要解析的网站的真实网址

标签: python web-scraping beautifulsoup urllib


【解决方案1】:

使用此代码:

...
soup = BeautifulSoup(html, 'html.parser')

your_data = list()

for line in soup.findAll('span', attrs={'id': 'target_0'}):
    your_data.append(line.text)


...

同样添加您需要从中提取数据的所有class attributes 并将your_data 列表写入csv 文件。如果这不起作用,希望这会有所帮助。告诉我。

【讨论】:

  • 谢谢!这适用于第一类(不在 中),但不适用于其他两个。但是,当我将网页下载到 .html 文件并解析该文件时,我没有这个问题。您对为什么会这样有任何想法吗?否则,我想我可以尝试解析 div 的孩子并通过那里,对吗?
  • 我更新了 data1 文本的代码。先试试这个@Naruto
【解决方案2】:

您可以使用以下方法根据您显示的源 HTML 创建列表:

from bs4 import BeautifulSoup

data = """ 
<div class="grouping">
     <div class="a1 left" style="width:20px;">Text0</div>
     <div class="a2 left" style="width:30px;"><span id="target_0">Data1</span></div>
     <div class="a3 left" style="width:45px;"><span id="div_target_0">Data2</span></div>
     <div class="a4 left" style="width:32px;"><span id="reg_target_0">Data3</span></div>
</div>

<div class="grouping">
     <div class="a1 left" style="width:20px;">Text2</div>
     <div class="a2 left" style="width:30px;"><span id="target_2">Data1</span></div>
     <div class="a3 left" style="width:45px;"><span id="div_target_0">Data2</span></div>
     <div class="a4 left" style="width:32px;"><span id="reg_target_0">Data3</span></div>
</div>

<div class="grouping">
     <div class="a1 left" style="width:20px;">Text4</div>
     <div class="a2 left" style="width:30px;"><span id="target_4">Data1</span></div>
     <div class="a3 left" style="width:45px;"><span id="div_target_0">Data2</span></div>
     <div class="a4 left" style="width:32px;"><span id="reg_target_0">Data3</span></div>
</div>
"""

soup = BeautifulSoup(data, "lxml")

search_ids = [0, 4, 5] # list of Target IDs to scrape

for i in search_ids:
    span = soup.find("span", id='target_{}'.format(i))

    if span:
        grouping = span.parent.parent
        print list(grouping.stripped_strings)[:-1]      # -1 to remove "Data3"

该示例已稍作修改,以显示它可以找到 ID 0 和 4。这将显示以下输出:

[u'Text0', u'Data1', u'Data2']
[u'Text4', u'Data1', u'Data2']

注意,如果您从 URL 返回的 HTML 与从浏览器查看源的 HTML 不同(即您想要的数据完全丢失),那么您将需要使用诸如 selenium 之类的解决方案连接到您的浏览器并提取 HTML。这是因为在这种情况下,HTML 可能是通过 Javascript 在本地生成的,而urllib 没有 Javascript 处理器。

【讨论】:

  • 有没有办法检查 HTML 或 CSS 以确定数据是否由 javascript 计算?还是需要看JS?我使用 Google Chrome 检查元素来读取 HTML/CSS。有没有更好的应用程序来检查元素?就像我说的,数据出现在“检查元素”上,当我下载 html 文件并用 BS 解析它时,但 urllib 似乎无法从网站上读取它。
  • 如果您在浏览器中看到的 HTML 源代码与打印 urllib 或请求库返回的内容所看到的源代码不匹配,那么它可能是 Javascript。基于硒的解决方案只会在您的脚本中添加几行代码。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2021-06-05
  • 1970-01-01
  • 2020-05-19
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多