爬虫的概念
网络爬虫(网页蜘蛛,网络机器人)就是模拟浏览器发送网络请求,接收响应,一种按照一定的规则自动的爬取互联网信息的程序.
理论上来说,只要浏览器能做的事情,原则上爬虫都能爬取
爬虫分类
-
通用爬虫
搜索引擎爬虫,面向整个互联网上所有的网站
-
聚焦爬虫
针对特定的网站爬虫
ROBOTS协议
网站通过Robots协议高速搜索引擎哪些页面可以爬取,哪些页面不能抓取(只是道德层面的约束)
https://www.taobao.com/robots.txt
相关文章：
猜你喜欢
相关资源
相似解决方案
热门标签