目标网站:https://www.kuaidaili.com/free/

对目标网站进行分析:

Python爬虫爬取快代理上的免费代理

发现点击下一页时,url的变化只有最后的数字在变化,因此用一个循环来遍历所有的url:

Python爬虫爬取快代理上的免费代理

定义一个函数来获取网页信息:

Python爬虫爬取快代理上的免费代理

最后用Excel表格来存储:

Python爬虫爬取快代理上的免费代理

 

 

 

相关文章: