目的：使用python的numpy、pandas、matplotlib库来分析成都二手房的房价信息。
原始数据来源：贝壳找房网站上的数据https://cd.ke.com/ershoufang
环境：win10 python 3.7.3
环境：win10 python 3.7.3 vscode编辑器
（1）第一部分：使用python爬取贝壳网上的数据
爬取的数据是：锦江、青羊、武侯、高新、成华、金牛、天府新区、双流、温江、郫都、龙泉驿、新都等区的两室的二手房价信息，每个地区爬取了300个条目。
由于爬取的是静态页面，所以很容易，我就直接放代码了，不熟悉的网友可以参考一下这篇文章：https://www.cnblogs.com/mrlayfolk/p/12319414.html。
1 # encoding:utf-8 2 3 \'\'\' 4 目的：从贝壳找房中爬取房价信息。网址：https://cd.ke.com/ershoufang/qingyang/l2/ 5 分别是：锦江、青羊、武侯、高新、成华、金牛、天府新区、双流、温江、郫都、龙泉驿、新都等区的房价信息 6 环境：python 3.7.3 7 所需的库：requests、BeautifulSoup、xlwt 8 \'\'\' 9 10 import requests 11 import string 12 import csv 13 import re 14 from bs4 import BeautifulSoup 15 16 headers = { 17 \'User-Agent\': \'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36\',\ 18 "Host": "cd.ke.com", 19 } 20 21 # 将获取的信息保存到表格中 22 def save_info(content, title): 23 head = (\'position\', \'floor\', \'builtYear\', \'layout\', \'size\', \'orientation\', \'totalPrice\', \'perPrice\') 24 with open(\'%s.csv\' % title, \'w\', newline=\'\', encoding=\'utf-8-sig\') as f: 25 writer = csv.writer(f) 26 writer.writerow(head) 27 for i in range(len(content)): 28 row = content[i] 29 writer.writerow(row) 30 31 32 33 # 获取房屋相关的信息 34 # 主要包括：\'position\', \'floor\', \'builtYear\', \'layout\', \'size\', \'orientation\', \'totalPrice\', \'perPrice\' 35 def get_info(place): 36 37 all_info = [] 38 position_list = [] 39 floor_list = [] 40 builtYear_list = [] 41 layout_list = [] 42 size_list = [] 43 orientation_list= [] 44 totalPrice_list = [] 45 unitPrice_list = [] 46 47 for i in range(10): 48 link = \'https://cd.ke.com/ershoufang/%s/pg%dl2/\' % (place, i) 49 r = requests.get(link, headers=headers, timeout=10) 50 print (str(i+1), \'status_code: \', r.status_code) 51 soup = BeautifulSoup(r.text, \'lxml\') 52 positionInfo = soup.findAll(\'div\', {\'class\': \'positionInfo\'}) 53 houseInfo = soup.findAll(\'div\', {\'class\': \'houseInfo\'}) 54 totalPrice = soup.findAll(\'div\', {\'class\': \'totalPrice\'}) 55 unitPrice = soup.findAll(\'div\', {\'class\': \'unitPrice\'}) 56 for item in positionInfo: 57 postion = item.a.text.strip() 58 position_list.append(postion) 59 for item in houseInfo: 60 house_info = item.text.strip().replace(\'\n\', \' \').replace(\' \', \'\') 61 floor = re.search(\'.楼层\(共[\d]+层\)\', house_info).group() 62 s = re.search(\'[\d]*年建\', house_info) 63 if s is not None: builtYear = s.group().replace("年建", \'\') 64 else: builtYear = None 65 layout = re.search(\'.室.厅\', house_info).group() 66 size = re.search(\'([\d]*\.[\d]*|[\d]*)平米\', house_info).group().replace(\'平米\', \'\') 67 orientation = re.search(\'东南|东北|西南|西北|东|西|南|北\', house_info).group() 68 floor_list.append(floor) 69 builtYear_list.append(builtYear) 70 layout_list.append(layout) 71 size_list.append(size) 72 orientation_list.append(orientation) 73 for item in totalPrice: 74 total_price = item.span.text.strip() 75 totalPrice_list.append(total_price) 76 for item in unitPrice: 77 unit_price = item.span.text.strip().replace(\'单价\', \'\').replace(\'元/平米\', \'\') 78 unitPrice_list.append(unit_price) 79 print (len(position_list)) 80 print (len(floor_list)) 81 print (len(builtYear_list)) 82 print (len(layout_list)) 83 print (len(size_list)) 84 print (len(orientation_list)) 85 print (len(totalPrice_list)) 86 print (len(totalPrice_list)) 87 for i in range(len(position_list)): 88 item = [position_list[i], floor_list[i], builtYear_list[i], layout_list[i], \ 89 size_list[i], orientation_list[i], totalPrice_list[i], unitPrice_list[i]] 90 all_info.append(item) 91 92 return all_info 93 94 95 if __name__ == "__main__": 96 97 area_list = [\'jinjiang\', \'qinyang\', \'wuhou\', \'gaoxin\', \'chenghua\', \'jinniu\', \ 98 \'tianfuxinqu\', \'shuangliu\', \'wenjiang\', \'pidu\', \'longquanyi\', \'xindu\'] 99 100 for place in area_list: 101 all_info = get_info(place) 102 save_info(all_info, place)
上述代码执行的结果是：输出了存储成都各地区房价信息的csv文件。
以下地方需要说明一下：
1）当我们获取到房屋信息时（如：高楼层(共6层) | 2000年建 | 2室2厅 | 78平米 | 南），由于有些条目缺少年建（前面的“2000”年建），所以用字符串的内建函数来分割出楼层、年建、布局、面积、朝向等信息不是很方便，建议使用正则表达式，这样会方便很多。
2）当我们存储数据到csv文件时，把“ encoding=\'utf-8-sig\' ”这条语句加上，不然我们使用pandas.read_csv()函数打开csv文件时会出现编码错误的问题，具体的原因可查看这篇文章：https://www.cnblogs.com/harrymore/p/10063775.html
（2）第二部分：分析爬取到的房价信息
接下来使用numpy、pandas、matplotlib库来分析。
1）首先，先导入这些库。
1 import numpy as np 2 import pandas as pd 3 from matplotlib import pyplot as plt 4 5 # 解决绘图时中文不显示的问题 6 plt.rcParams[\'font.sans-serif\'] = [\'SimHei\'] 7 plt.rcParams[\'axes.unicode_minus\'] = False
2）然后，我们将抓取到的文件使用pandas.read_csv()方法读取出来。
1 df_jinjiang = pd.read_csv(\'jinjiang.csv\') 2 df_qinyang = pd.read_csv(\'qinyang.csv\') 3 df_wuhou = pd.read_csv(\'wuhou.csv\') 4 df_gaoxin = pd.read_csv(\'gaoxin.csv\') 5 df_chenghua = pd.read_csv(\'chenghua.csv\') 6 df_jinniu = pd.read_csv(\'jinniu.csv\') 7 df_tianfuxinqu = pd.read_csv(\'tianfuxinqu.csv\') 8 df_shuangliu = pd.read_csv(\'shuangliu.csv\') 9 df_wenjiang = pd.read_csv(\'wenjiang.csv\') 10 df_pidu = pd.read_csv(\'pidu.csv\') 11 df_longquanyi = pd.read_csv(\'longquanyi.csv\') 12 df_xindu = pd.read_csv(\'xindu.csv\') 13 14 df = [df_jinjiang, df_qinyang, df_wuhou, df_gaoxin, df_chenghua, df_jinniu, df_tianfuxinqu, \ 15 df_shuangliu, df_wenjiang, df_pidu, df_longquanyi, df_xindu]
3）接着，我们先使用DataFrame的describe()方法先分析一下各地区的统计值，包括：最大值、最小值、平均值、中位数等。
1 area_name = [\'jinjiang\', \'qinyang\', \'wuhou\', \'gaoxin\', \'chenghua\', \'jinniu\', \'tianfuxinqu\', \ 2 \'shuangliu\', \'wenjiang\', \'pidu\', \'longquanyi\', \'xindu\'] 3 4 for i, item in enumerate(df): 5 print (\'%s:\' % area_name[i]) 6 print (item.describe())
打印的数据很多，就不全部弄出来了，锦江区的数据如下，可以看到锦江区的二手房价平均值为124.93万元、中位数为118万元；每平米的单价的平均值为17249元，中位数为16056.3元。由于抓取的数据只是两室的房屋，可以看出面积平均为71.15平方米，中位数为72平方米。
4）接着分析一下每个地区的房屋的单价信息（元/平米），并以柱状图显示出来。
1 perPrice_list = [] 2 for item in df: 3 perPrice = item[\'perPrice\'].mean() 4 perPrice_list.append(perPrice) 5 data = pd.Series(perPrice_list, index=area_name) 6 data.plot(kind=\'barh\', color=\'g\', alpha=0.7, title=u\'成都各区每平米房价对比\') 7 plt.ylabel(\'area\') 8 plt.xlabel(\'perPrice\') 9 plt.show()
从分析结果可以看出：锦江区的每平米房价最高，温江的最低。
5）接下来，分析一下面积和单价的对应关系。
为了方便后续处理，先将所有的面积，单价，总价进行一个汇总。
1 # 将各个条目数据进行汇总 2 size_list = [] 3 builtYear_list = [] 4 totalPrice_list = [] 5 perPrice_list = [] 6 for item in df: 7 size = item[\'size\'] 8 builtYead = item[\'builtYear\'] 9 price = item[\'totalPrice\'] 10 perPrice = item[\'perPrice\'] 11 for i in range(len(size)): 12 size_list.append(size[i]) 13 builtYear_list.append(builtYead) 14 totalPrice_list.append(price[i]) 15 perPrice_list.append(perPrice[i]) 16 print (len(size_list)) 17 print (len(builtYear_list)) 18 print (len(totalPrice_list)) 19 print (len(perPrice_list))
6）现在获取每平米的单价和面积之间的对应关系。
1 # 将各地区的面积和单价统计起来，看一下面积和单价之间的对应关系。 2 plt.scatter(totalPrice_list, size_list, s=np.pi) 3 plt.title(\'面积与房屋单价的对应关系\') 4 plt.xlabel(\'size\') 5 plt.ylabel(\'perPrice\') 6 plt.show()
可以看出，面积和单价之间基本是成正相关的，只有几个少数的地方数据点除外。
7）分析每一个地区的房价（总价）与面积之间的关系，并绘制散布图
1 # 分析每一个地区的房价（总价）与面积之间的关系，并绘制散布图 2 totalPrice_list = [] 3 size_list = [] 4 for item in df: 5 totalPrice = item[\'totalPrice\'] 6 size = item[\'size\'] 7 totalPrice_list.append(totalPrice) 8 size_list.append(size) 9 fig, axes = plt.subplots(3, 4) 10 k = 0 11 for i in range(3): 12 for j in range(4): 13 axes[i, j].scatter(size_list[k], totalPrice_list[k], label=area_name[k], s=np.pi) 14 axes[i, j].legend(loc=\'best\') 15 axes[i, j].set_xlabel(\'size\') 16 axes[i, j].set_ylabel(\'price\') 17 k += 1 18 plt.subplots_adjust(hspace=0.25) 19 plt.show()
可以看出，大部分地区的房屋面积和价格是呈现出正相关的关系，而天府新区的面积与房价之间没有体现出这种关系，这似乎是不正常的。
8）分析一下房屋建立的时间与单价之间的关系。
1 # 分析房屋年限和单价的关系 2 builtYear_list = [] 3 perPrice_list = [] 4 for item in df: 5 perPrice = item[\'perPrice\'] 6 builtYear = item[\'builtYear\'] 7 perPrice_list.append(perPrice) 8 builtYear_list.append(builtYear) 9 fig, axes = plt.subplots(3, 4) 10 k = 0 11 for i in range(3): 12 for j in range(4): 13 axes[i, j].scatter(builtYear_list[k], perPrice_list[k], label=area_name[k], s=np.pi) 14 axes[i, j].legend(loc=\'best\') 15 axes[i, j].set_xlabel(\'builtYear\') 16 axes[i, j].set_ylabel(\'perPrice\') 17 k += 1 18 plt.subplots_adjust(wspace=0.3, hspace=0.3) 19 plt.show()
可看出，郫都和新都的房屋建立时间并没有体现出与房价的相关性，2000年建立的房屋和2010年建立的房屋价格差不多，这似乎是不正常的。
（3）总结
我才开始学习python和python的数据分析没有多久，对于数据分析的模型更是不懂。我把这当作一个学习的记录过程。