用python2和python3伪装浏览器爬取网页

python网页抓取功能非常强大，使用urllib或者urllib2可以很轻松的抓取网页内容。但是很多时候我们要注意，可能很多网站都设置了防采集功能，不是那么轻松就能抓取到想要的内容。
今天我来分享下载python2和python3中都是如何来模拟浏览器来跳过屏蔽进行抓取的。

最基础的抓取：

1 #! /usr/bin/env python
2 # -*- coding=utf-8 -*-
3 # @Author pythontab
4 import urllib.request
5 url = "http://www.***.com"
6 html = urllib.request.urlopen(url).read(）
7 print(html)

但是...有些网站不能抓取，进行了防采集设置，所以我们要变换一下方法

python2中（最新稳定版本python2.7）

 1 #! /usr/bin/env python
 2 # -*- coding=utf-8 -*- 
 3 # @Author pythontab.com
 4 import urllib2
 5 url="http://pythontab.com"
 6 req_header = {\'User-Agent\':\'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11\',
 7 \'Accept\':\'text/html;q=0.9,*/*;q=0.8\',
 8 \'Accept-Charset\':\'ISO-8859-1,utf-8;q=0.7,*;q=0.3\',
 9 \'Accept-Encoding\':\'gzip\',
10 \'Connection\':\'close\',
11 \'Referer\':None #注意如果依然不能抓取的话，这里可以设置抓取网站的host
12 }
13 req_timeout = 5
14 req = urllib2.Request(url,None,req_header)
15 resp = urllib2.urlopen(req,None,req_timeout)
16 html = resp.read()
17 print(html)

python3中（最新稳定版本python3.3）

 1 #! /usr/bin/env python
 2 # -*- coding=utf-8 -*- 
 3 # @Author pythontab
 4 import urllib.request
 5 
 6 url = "http://www.***.com"
 7 headers = {\'User-Agent\':\'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11\',
 8 \'Accept\':\'text/html;q=0.9,*/*;q=0.8\',
 9 \'Accept-Charset\':\'ISO-8859-1,utf-8;q=0.7,*;q=0.3\',
10 \'Accept-Encoding\':\'gzip\',
11 \'Connection\':\'close\',
12 \'Referer\':None #注意如果依然不能抓取的话，这里可以设置抓取网站的host
13 }
14 
15 opener = urllib.request.build_opener()
16 opener.addheaders = [headers]
17 data = opener.open(url).read()
18 
19 print(data)