python爬虫（二十一） 中国天气网最低气温爬虫及可视化 - 方木Fengl

python爬虫（二十一） 中国天气网最低气温爬虫及可视化

 

网页如图所示

1、页面分析

 

 首先爬取华北地区

华北得url:http://www.weather.com.cn/textFC/hb.shtml

东北得url:http://www.weather.com.cn/textFC/db.shtml

依次很容易得到各个地区得url

 

 一个城市得情况在一个table里

 

 table里得第三个tr标签开始为这个城市得天气情况

2、华北城市数据爬取

import requests
from bs4 import  BeautifulSoup

def parse_page(url):
    headers={
        \'User-Agent\':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
    }
    response=requests.get(url,headers=headers)
    text=response.content.decode(\'utf-8\')
    soup=BeautifulSoup(text,\'lxml\')
    conMidtab=soup.find(\'div\',class_=\'conMidtab\')
    tables=conMidtab.find_all(\'table\')
    for table in tables:
        trs=table.find_all(\'tr\')[2:]
        for tr in trs:

            tds=tr.find_all(\'td\')
            city_td=tds[0]
            city=list(city_td.stripped_strings)[0]
            temp_td=tds[-2]
            temp_min=list(temp_td.stripped_strings)[0]
            print({"city":city,"temp_min":temp_min})

def main():
    url="http://www.weather.com.cn/textFC/hb.shtml"
    parse_page(url)

if __name__ ==  \'__main__\':
    main()

华北地区的所有最低气温：

 

 

 3、所有城市最低气温爬取

在测试时可以发现，除了华北和港澳台地区，其他地区的城市信息例如：

 

 在华北地区的时候，第一个城市在第三个tr标签，城市的名字在tr标签下的第一个td标签，但是在这几个地区，第一个城市在第三个tr标签，而城市的名字在tr标签下的第二个td标签

这时需要加上几行代码

 city_td=tds[0]
            # 如果是第0个tr标签，城市就是第二个td标签，其余得都选第0个td标签
            if index==0:
                city_td = tds[1]

然后是港澳台，通过查看源代码可以看出来，港澳台里面是不规范的html代码，即有开始标签没有结束标签，如果按照上面的方式写，得到的是不正确的

 

 这时就不能用lxml解析器，需要用html5lib解析器

soup=BeautifulSoup(text,\'html5lib\')

如果没有安装，通过命令 pip install html5lib 安装

import requests
from bs4 import  BeautifulSoup

def parse_page(url):
    headers={
        \'User-Agent\':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
    }
    response=requests.get(url,headers=headers)
    text=response.content.decode(\'utf-8\')
    soup=BeautifulSoup(text,\'html5lib\')
    conMidtab=soup.find(\'div\',class_=\'conMidtab\')
    tables=conMidtab.find_all(\'table\')
    for table in tables:
        trs=table.find_all(\'tr\')[2:]
        for index,tr in enumerate(trs):

            tds=tr.find_all(\'td\')

            city_td=tds[0]
            # 如果是第0个tr标签，城市就是第二个td标签，其余得都选第0个td标签
            if index==0:
                city_td = tds[1]
            city=list(city_td.stripped_strings)[0]
            temp_td=tds[-2]
            temp_min=list(temp_td.stripped_strings)[0]
            print({"city":city,"temp_min":temp_min})


def main():
    urls={
        \'http://www.weather.com.cn/textFC/hb.shtml\',
        \'http://www.weather.com.cn/textFC/db.shtml\',
        \'http://www.weather.com.cn/textFC/hd.shtml\',
        \'http://www.weather.com.cn/textFC/hz.shtml\',
        \'http://www.weather.com.cn/textFC/hn.shtml\',
        \'http://www.weather.com.cn/textFC/xb.shtml\',
        \'http://www.weather.com.cn/textFC/xn.shtml\',
        \'http://www.weather.com.cn/textFC/gat.shtml\'
    }
    for url in urls:
     parse_page(url)

if __name__ ==  \'__main__\':
    main()

 

 

 

 4、全国前十最低气温可视化

 

import requests
from bs4 import  BeautifulSoup
from pyecharts.charts import Bar

ALL_DATA=[]
def parse_page(url):
    headers={
        \'User-Agent\':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
    }
    response=requests.get(url,headers=headers)
    text=response.content.decode(\'utf-8\')
    soup=BeautifulSoup(text,\'html5lib\')
    conMidtab=soup.find(\'div\',class_=\'conMidtab\')
    tables=conMidtab.find_all(\'table\')
    for table in tables:
        trs=table.find_all(\'tr\')[2:]
        for index,tr in enumerate(trs):

            tds=tr.find_all(\'td\')

            city_td=tds[0]
            # 如果是第0个tr标签，城市就是第二个td标签，其余得都选第0个td标签
            if index==0:
                city_td = tds[1]
            city=list(city_td.stripped_strings)[0]
            temp_td=tds[-2]
            temp_min=list(temp_td.stripped_strings)[0]
            ALL_DATA.append({"city":city,"temp_min":int(temp_min)})
            # print({"city":city,"temp_min":int(temp_min)})


def main():
    urls={
        \'http://www.weather.com.cn/textFC/hb.shtml\',
        \'http://www.weather.com.cn/textFC/db.shtml\',
        \'http://www.weather.com.cn/textFC/hd.shtml\',
        \'http://www.weather.com.cn/textFC/hz.shtml\',
        \'http://www.weather.com.cn/textFC/hn.shtml\',
        \'http://www.weather.com.cn/textFC/xb.shtml\',
        \'http://www.weather.com.cn/textFC/xn.shtml\',
        \'http://www.weather.com.cn/textFC/gat.shtml\'
    }
    for url in urls:
     parse_page(url)

     ALL_DATA.sort(key=lambda data:data[\'temp_min\'])
     data=ALL_DATA[0:10]
# 需要使用pyecharts
    cities=list(map(lambda x:x[\'city\'],data))
    temps=list(map(lambda x:x[\'temp_min\'],data))
    chart=Bar("中国气温排行榜")
    chart.add(\'\',cities,temps)
    chart.render(\'temperature.html\')

if __name__ ==  \'__main__\':
    main()