天气数据爬取及分析

气象数据爬取与分析

前言

通过爬取2020年长治市的气温和天气状况来简要分析。
数据来源地址：http://lishi.tianqi.com/changzhi
而每月的数据，以2020年1月为例，链接为：http://lishi.tianqi.com/changzhi/202001.html

数据爬取

采用Requests，BeautifulSoup两个工具。遍历12个月份的链接，为了防止被屏蔽，每次请求前暂停3秒。
谁知，网站可能有个简单的反爬机制，通过伪造一个数据包的user-agent信息，伪装成浏览器请求成功。
爬取后，保存在json格式的文件，如下为文件中部分数据截图

简要分析

每一条数据如下格式：[\'2020-01-01 星期三 \', \'5℃\', \'-7℃\', \'晴转多云\', \'南风 1级\']
求取每月的最高气温与最低气温的平均值，得出全年气温变化，如下所示，由此可见昼夜温差并不是很大，且全年气温较为适宜，四季分明。

统计全年的天气状况，并绘制饼图，如下所示，由于一些天气状况较少，所以只展示前八的天气，由下可见，全年晴天较多（带来好心情），降水较少，较为干旱。
统计数据：{\'晴\': 146, \'多云\': 87, \'阴\': 51, \'晴转多云\': 39, \'多云转阴\': 8, \'小雨\': 7, \'阴转多云\': 4, \'小雨到中雨\': 4, \'多云转雪\': 2, \'霾转雪\': 2, \'霾\': 2, \'阴转雪\': 2, \'小雪\': 2, \'雪\': 1, \'霾转多云\': 1, \'霾转晴\': 1, \'小雨转雨\': 1, \'多云转雨\': 1, \'小雨转多云\': 1, \'中雨到大雨\': 1, \'多云转多云\': 1, \'阴转雨\': 1, \'阴到小雨\': 1}

饼图：

代码

import re
import requests
from bs4 import BeautifulSoup
import time
from tqdm import tqdm
import json
import collections
import matplotlib.pyplot as plt

plt.rcParams[\'font.sans-serif\']=[\'SimHei\']
#共有12个月需要爬取，设置url链接中page的参数，其中tqdm用于进度条
year=[]
for i in tqdm(range(1,13)):
    time.sleep(3)
    url = \'http://lishi.tianqi.com/changzhi/2020\'+str(\'%02d\'%i)+\'.html\'
    # 请求页面
    headers={\'User-Agent\':\'Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 95.0.4638.69Safari / 537.36\'}
    r = requests.get(url,headers=headers)
    r.encoding = r.apparent_encoding
    html = BeautifulSoup(r.text, \'html.parser\')
    table=html.find_all(\'ul\',{\'class\':\'thrui\'})
    li=table[0].find_all(\'li\')
    month=[]
    for i in li:
        div=i.find_all(\'div\')
        day=[]
        for j in div:
            day.append(j.get_text())
        month.append(day)
    year.append(month)
with open(\'C:/Users/DELL/Desktop/season.json\', \'w\', encoding=\'utf-8\') as f:
    json.dump(year,f)

with open(\'C:/Users/DELL/Desktop/season.json\', \'r\', encoding=\'utf-8\') as f:
    year=json.load(f)
print(year)
year_high_temperature=[]
year_low_temperature = []
year_weather=[]
for month in year:
    high_temperature=0
    low_temperature = 0
    month_weather=[]
    for day in month:
        high_day_temperature=int(re.findall(r\'-?\d+\',day[1])[0])
        low_day_temperature = int(re.findall(r\'-?\d+\', day[2])[0])
        high_temperature=high_temperature+high_day_temperature
        low_temperature = low_temperature+low_day_temperature
        month_weather.append(day[3])
    year_high_temperature.append(round(high_temperature / len(month)))
    year_low_temperature.append(round(low_temperature / len(month)))
    year_weather.extend(month_weather)

plt.title(u\'长治市全年每月最高温与最低温变化\')
plt.xlabel(u\'年份\')
plt.ylabel(u\'温度\')
plt.plot(range(1,13),year_high_temperature,\'-o\',label=u\'最高温\')
plt.plot(range(1,13),year_low_temperature,\'-o\',label=u\'最低温\')
plt.legend(loc = \'upper right\')
plt.show()
year_weather=collections.Counter(year_weather)
print(year_weather)
weather=[]
days=[]
for key,value in year_weather.most_common(8):
    weather.append(key)
    days.append(value)
print(days)
plt.title(u\'长治市全年天气状况饼状图\')
plt.pie(days,labels=weather,autopct=\'%1.1f%%\',shadow=False)
plt.show()