1.爬虫的定义
网络爬虫是模拟客户端发送网络请求，接收请求响应，一种按照一定的规则，自动抓取互联网信息的程序。
只要是浏览器能做的事，理论上，爬虫都能够做。
爬虫的流程：url--->发送数据，获取响应--->提取数据--->保存
发送请求，获取响应--->提取url
2.爬虫分类
1.通用爬虫：通用爬虫是搜索引擎抓取系统（百度、谷歌等）的重要组成部分，主要是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。
2.聚焦爬虫：是面向特定需求的一种爬虫程序，它与通用爬虫的区别在于，聚焦爬虫在实施网页抓取的时候会对内容进行筛选和处理，尽量保证只抓取与需求相关的网页信息。
3.在浏览器中发送一个http请求的过程
1.当用户在浏览器的地址栏中输入一个URL并按回车键之后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为"get"和”post"两种方法。
2.当我们在浏览器输入URL https://www.baidu.com 时，浏览器发送一个request请求去获取https://www.baidu.com 的html文件，服务器把response文件对象发送给浏览器。
3.浏览器分析response中的html,发现其中引用了很多其他文件，比如Images文件，CSS文件，JS文件。浏览器会自动再次发送requests文件去获取图片，CSS文件，或者JS文件。
4.当所有文件都下载成功后，网页会根据HTML语法结构，完整显示出来。
4.url详解
在浏览器中请求一个url，浏览器会对这个url进行一个编码，除英文字母，数字和部分符号外，其他的全部使用百分号+十六进制码值进行编码。
5.常用的请求方法
在http协议中，一共定义了8种请求方法，以下是两种常用方法
1.get请求：一般情况下，只从服务器获取数据下来，并不会对服务器资源产生任何影响的时候会使用get请求
2.post请求：向服务器发送数据(登录)、上传文件等，会对服务器资源产生影响的时候会使用post请求
但是也要视情况而定。
6.请求头常见参数
在http协议中，向服务器发送一个请求，数据分为3部分，第一个是把数据放在url中，第二个是把数据放在body中（在post请求中），第三个就是把数据放在head中，这里介绍网络爬虫中常用的一些请求头参数：
1.User-Agent：浏览器名称。这个在网络爬虫中经常会被使用到。请求一个网页的时候，服务器通过这个参数就可以知道这个请求是由那种浏览器发送的。如果我们是通过爬虫发送请求，那么我们的User-Agent就是Python，这对于那些有反爬虫机制的网站来说，可以轻易地判断你这个请求是爬虫，因此我们要经常设置这个值为一些浏览器的值，来伪装我们的爬虫。
2.Referer:表明当前这个请求是从哪个url过来的。这个一般也可以用来做反爬虫技术。如果不是从指定页面过来的，那么就不做相应的响应。
3.Cookie：http协议是无状态的。也就是同一个人发送了两次请求，服务器没有能力知道这两个请求是否来自同一个人。因此这时候就用cookie来做标识。一般想要做登陆后才能访问的网站，那么就需要发送cookie信息了。
7.常见响应状态码
1.200：请求正常，服务器正常返回数据
2.301：永久重定向。比如在访问www.jingdong.com的时候会重定向到www.jd.com
3.302：临时重定向。比如在访问一个需要登陆的页面的时候，此时没有登陆，那么就重定向到登陆页面。
4.400：请求的url在服务器上找不到。请求url错误。
5.403：服务器拒绝访问，权限不够。
6.500：服务器内部错误，可能是服务器出现bug了。
8.搜索引擎的工作原理以及robots协议
搜索引擎工作原理：首先在互联网中发现、搜集网页信息；同时对信息进行提取和组织建立索引库；
再由检索器根据用户输入的查询关键字，在索引库中快速检出文档，进行文档与查询的相关度评价，
对将要输出的结果进行排序，并将查询结果返回给用户。
robots协议只是道德上的协议
9.chrome抓包工具
Elements是网页展现出来，是由哪些代码构成的
Console是控制台
Sources是网页由哪些文件组成的
Network就是查看当前网页发送的请求
勾选Preserve log时不清除之前的url