主要思路

 

目的:

根据输入的城市名,爬取该城市美团美食板块所有商家的数据。数据包括:

 

店名、评分、评论数量、均价、地址,

并将这些数据存入Excel中。

最后尝试对爬取到的数据做一个简单的分析。

 

克服反爬虫:

爬取每页数据后,随机停止一段时间后再爬下一页;

每页使用不同的cookie值。

 

具体原理:

 

详细的实现过程见源代码。

 

开发工具

Python版本:3.5.4

 

相关模块:

requests模块;

win_unicode_console模块;

openpyxl模块;

以及一些Python自带的模块。

 

环境搭建

安装Python并添加到环境变量,pip安装需要的相关模块即可。

 

使用演示

在cmd窗口运行 MT_Cate_Spider.py 文件即可。

 

Python美团爬虫-抓取美食板块商家数据,你学会了吗?

 

 

Python美团爬虫-抓取美食板块商家数据,你学会了吗?

 

 

简单分析

利用Excel的数据分析功能简单分析

 

用的上海地区的数据。

 

首先当然是按照评分排个序,然后做成柱状图:

 

Python美团爬虫-抓取美食板块商家数据,你学会了吗?

 

 

然后是评论数量排个序,做成柱状图:

 

Python美团爬虫-抓取美食板块商家数据,你学会了吗?

 

 

然后再做点其他有趣的图案:

 

Python美团爬虫-抓取美食板块商家数据,你学会了吗?

 

 

Python美团爬虫-抓取美食板块商家数据,你学会了吗?

相关文章: