爬取 美团的美食数据(一)

今天为了下一轮的分享,爬取了 美团美食数据作为参考,花了10几分中看了这个网页,起码在爬取第一页内容的时候,还没有发现存在的反扒机制。也没有对网页中的内容做 加密操作,与 大众点评 和 携程的网页来说,就像小孩子和成人的区别。

通过Googlechrome 浏览器看到网页内容后 就直接上手,爬取第一页的内容了。

爬取 美团的美食数据(一)

看上去貌似 so easy, 接下来 添加分页操作查看 会不会触发反扒机制

在解析内部的数据的时候,发现 url中返回的数据没有带分页的数据,因此 看其他办法,

得到的json数据中可以得到 totalCount 总量是多少,然后每页的值是多少,这样 造一下 分页的URL就可以了。

爬取 美团的美食数据(一)

相关文章: