1、基本抓取网页
2、使用代理IP
在开发爬虫过程中经常会遇到IP被封的情况，这时就需要用到代理亿牛云IP。
3、Cookies处理
cookies是某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)，python提供了cookielib模块用于处理cookies，cookielib模块的主要作用是提供可存储cookie的对象，以便于与urllib2模块配合使用来访问Internet资源.。
4、伪装成浏览器
5、页面解析
对于页面解析最强大的当然是正则表达式，这个对于不同网站不同的使用者都不一样，就不用过多的说明
爬虫能做什么
爬取数据信息，着互联网的发展，信息在其中扮演的角色越来越重要，各个领域都需要数据，如：数据分析、互联网金融等
如果个人的兴趣爱好，爬虫可以用来做如下的事情：
下载某某网站可爱的小姐姐套图股票抄底（如果可能的话）获取房价信息刷票点赞记录世界记录美好世界的动人小姐姐的舞姿（不是馋人家身子的那种）
爬虫引发的风险
爬虫可能会引来的一些风险，如：
骚扰问题 因为代码不够健壮，导致爬取网站速度频率太快，可能会导致网站服务器压力，从而对网站Up主带来困扰法律风险问题 网络上的一些信息属于机密信息，或者不能用来盈利的信息，如果私自传播，非法盈利都可能带来法律方面的问题。隐私泄露 因为爬虫抓取信息的过程，不论对爬取网站的运营者，还是爬虫者本人，都会存在泄漏隐私的问题，但最主要的是对于网站信息的泄漏，通过爬虫，我们可以绕过网站的一些安全设置，从而导致信息泄漏。
总体来说，爬虫是一门艺术，也是一门技术，你可能用它来吃饭，也可以用他们陶冶自己的情操，具体两者之间如何抉择，还要取决于自己。当然爬虫配合高质量的http代理（亿牛云http代理）采集的数据效果会更好。
相关文章：