如何在 href 标记中检索数据

Question

大家好，我在爬网时遇到了一些困难。我正在尝试在嵌入在一些 html 中间的这段代码中获取 70，我的问题是我将如何去做。我尝试了各种方法，但似乎都没有。我正在使用 BeautifulSoup 模块并用 Python 3 编写。如果有人需要，我正在抓取的网站的链接很方便地是 href 中的链接。提前谢谢你。

<a href="http://www.accuweather.com/en/gb/london/ec4a-2/weather- forecast/328328">London, United Kingdom<span class="temp">70&deg;</span><span  class="icon i-33-s"></span></a>

from bs4 import*
import requests
data = requests.get("http://www.accuweather.com/en/gb/london/ec4a-2/weather-   forecast/328328")
soup = BeautifulSoup(data.text,"html.parser")

Answer 1

from bs4 import BeautifulSoup
import re
import requests
soup = BeautifulSoup(text,"html.parser")
for link in soup.find("a")
   temp = link.find("span",{"class" : "temp"})
   print(re.findall(r"[0-9]{1,2}",temp.text))

希望对你有帮助

Answer 2

假设使用BeautifulSoup 不是严格要求，您可以使用html.parser 模块来做到这一点。以下是为您提到的用例定制的。 它获取两个数据字段，然后过滤掉数字。

from html.parser import HTMLParser

class MyHTMLParser(HTMLParser):
    def handle_data(self, data):
        if data.isdigit():
            print(data)

parser = MyHTMLParser()

parser.feed('<a href="http://www.accuweather.com/en/gb/london/ec4a-2/weather- forecast/328328">London, United Kingdom<span class="temp">70&deg;</span><span  class="icon i-33-s"></span></a>')

这将输出70

也可以使用正则表达式。

Answer 3

这将为您提供任何包含温度的跨度

temps = soup.find_all('span',{'class':'temp'})

然后循环遍历它

for span in temps:
    temp = span.decode_contents() 
    # temp looks like "70&deg" or "70\xb0" so parse it
    print int(temp[:-1])

如果你是在 python2 中，那么辛苦的工作可能是从 unicode 转换为 ASCII。

但是 accu-weather 页面没有 temp 类的 span：

In [12]: soup.select('[class~=temp]')
Out[12]: 
[<strong class="temp">19<span>\xb0</span></strong>,
 <strong class="temp">14<span>\xb0</span></strong>,
 <strong class="temp">24<span>\xb0</span></strong>,
 <strong class="temp">23<span>\xb0</span></strong>,
 <h2 class="temp">19\xb0</h2>,
 <h2 class="temp">19\xb0</h2>,
 <h2 class="temp">17\xb0</h2>,
 <h2 class="temp">19\xb0</h2>,
 <h2 class="temp">19\xb0</h2>,
 <h2 class="temp">19\xb0</h2>,
 <h2 class="temp">20\xb0</h2>,
 <h2 class="temp">19\xb0</h2>,
 <h2 class="temp">17\xb0</h2>,
 <h2 class="temp">19\xb0</h2>,
 <h2 class="temp">19\xb0</h2>]

所以很难给你答案

Answer 4

您需要添加一个用户代理来获取正确的来源，然后使用您想要的标签/类名称进行选择：

from bs4 import *
import requests
headers = {"user-agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36"}
data = requests.get("http://www.accuweather.com/en/gb/london/ec4a-2/weather-forecast/328328", headers=headers)
soup = BeautifulSoup(data.content)
print(soup.select_one("span.local-temp").text)
print([span.text for span in soup.select("span.temp")])

如果我们运行代码，你会看到我们得到了我们需要的一切：

In [17]: headers = {
   ....:     "user-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36"}

In [18]: data = requests.get("http://www.accuweather.com/en/gb/london/ec4a-2/weather-forecast/328328", headers=headers)

In [19]: soup = BeautifulSoup(data.content, "html.parser")

In [20]: print(soup.find("span", "local-temp").text)
18°C

In [21]: print("\n".join([span.text for span in soup.select("span.temp")]))
18°
31°
30°
25°