python爬虫之Cookie

由于http协议是无状态协议（假如登录成功，当访问该网站的其他网页时，登录状态消失），此时，需要将会话信息保存起来，通过cookie或者session的方式

cookie

　　将所有的回话信息保存在客户端

session　　　　

　　将会话信息保存在服务端，但是服务端给客户端发的sessionid信息会保存在客户端的cookie里

 

Cookie 实战

python3.x 　　

　　Cookiejar

python2.x

　　Cookielib

 

实例演示：

#!/usr/bin/env python
#-*-coding:utf-8-*-

import  urllib.request
import urllib.parse
import http.cookiejar


url = "http://bbs.chinaunix.net/member.php?mod=logging&action=login&loginsubmit=yes&loginhash=LUPvX"

postdata = urllib.parse.urlencode({"username":"weisuen","password":"aA123456"}).encode('utf-8')        #使用urlencode处理，在设置为utf-8编码

req = urllib.request.Request(url,postdata)        #构建request对象

req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3107.4 Safari/537.36")

data = urllib.request.urlopen(req).read() #登陆并爬取网页



url2 = "http://bbs.chinaunix.net/"

req2 = urllib.request.Request(url2,postdata)

req2.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3107.4 Safari/537.36")

data2 = urllib.request.urlopen(req2).read()

#写入到文件
with open('1.html','wb') as one, open('2.html','wb') as two:
    one.write(data)
    two.write(data2)

未设置cookie登陆网站