从零开始学爬虫(5)——爬虫的流程

一、爬虫的分类

  • **通用爬虫：**通常是指搜索引擎的爬虫
  • **聚焦爬虫：**针对特定网站的爬虫

二、通用搜索引擎和聚焦爬虫工作的原理

从零开始学爬虫(5)——爬虫的流程
其中从相应内容中再次提取URL指的是有些网站例如新浪网站中，新闻分了很多页，我们要从返回的页面中提取“下一页”等等的URL

相关文章：

猜你喜欢
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode