自如网杭州市租房数据分析(1)

杭州租房数据清洗

由于上篇文章中爬取下来的数据不能直接用来分析，比如一个属性包含多个信息、数值型属性包含单位等，因此首先要对数据做一定的清洗，处理成需要的格式。

import pandas as pd
import numpy as np

1.读取数据，初始属性解释

#因为文件中包含中文，为正确读取需要进行中文编码
rent_data=pd.read_csv(\'rent_data.csv\',encoding=\'gbk\')
rent_data.head()

初始属性解释：

apartment:公寓名称及房间数
area:公寓所处地区，包括城区、街道或某个范围、靠近地铁几号线、最近的地铁站
size:房间大小
dis_to_subway:距离最近地铁站的距离

rent_data.info()

输出：
<class \'pandas.core.frame.DataFrame\'>
RangeIndex: 900 entries, 0 to 899
Data columns (total 5 columns):
apartment        900 non-null object
area             900 non-null object
size             900 non-null object
dis_to_subway    771 non-null object
price            900 non-null int64
dtypes: int64(1), object(4)
memory usage: 35.2+ KB

2.数据清洗

(1) 把apartment属性分为小区名称(name)与房间数(num_rooms)。

例如“龙湖滟澜山茗轩南区三期4居室-南卧”可分为“龙湖滟澜山茗轩南区三期”，"4"。

rent_data[\'name\']=rent_data[\'apartment\'].apply(lambda x: x.split(\'-\')[0][:-3])
rent_data[\'num_rooms\']=rent_data[\'apartment\'].apply(lambda x: x.split(\'-\')[0][-3:-2])

(2)提取area属性中的区域信息(district)、位置信息(location)、地铁信息(subway)、站点信息(station)。

例如"[下沙金沙湖] 1号线金沙湖"对应为为"下沙"、"金沙湖"、"1"、"金沙湖"，这里用到了正则表达式。

import re
def get_district(area):
    matchobj=re.search(r\'\[(.*)\]\',area)
    return matchobj.group(1)[:2]
def get_location(area):
    matchobj=re.search(r\'\[(.*)\]\',area)
    return matchobj.group(1)[2:]
def get_subway(area):
    matchobj=re.search(r\'\d+\',area)
    if matchobj:
        return matchobj.group()
    else:
        return \'\'
def get_station(area):
    matchobj=re.search(r\'\d.{2}(.*)\',area)
    if matchobj:
        return matchobj.group(1)
    else:
        return \'\'
        
rent_data[\'district\']=rent_data[\'area\'].apply(get_district)
rent_data[\'location\']=rent_data[\'area\'].apply(get_location)
rent_data[\'subway\']=rent_data[\'area\'].apply(get_subway)
rent_data[\'station\']=rent_data[\'area\'].apply(get_station)

(3)去掉房屋大小size字段的单位“㎡”，还有面积前面的“约”。

例如"9.3 ㎡"处理后为"9.3"，“约10 ㎡”处理后为“10”。

def get_size(size):
    size_split=size.split()[0]
    matchobj=re.search(r\'约(.+)\',size_split)
    if matchobj:
        return matchobj.group(1)
    else:
        return size_split
rent_data[\'size\']=rent_data[\'size\'].apply(get_size)

(4)从“距离地铁的距离”属性"dis_to_subway"中提取出距离。

例如从“距1号线金沙湖站186米”提取出“186”。

rent_data[\'dis_to_subway\']=rent_data[\'dis_to_subway\'].fillna(\'\')  #补全空值
def get_distance(dis_to_subway):
    if not dis_to_subway==\'\':
        matchobj=re.search(r\'\D{2,}(\d+)\',dis_to_subway)
        return matchobj.group(1)
    else:
        return \'\'
rent_data[\'dis_to_subway\']=rent_data[\'dis_to_subway\'].apply(get_distance)

3.删除多余属性

rent_data.drop([\'apartment\',\'area\'],axis=1,inplace=True)
rent_data.sample(5)

rent_data.to_csv(\'rent_data_clean.csv\',index=False)  #存入csv文件