爬虫：模拟登陆访问（验证码）+ selenium + 线程池

学习概要：

           

模拟用户登录

验证码处理参考

一、云打码平台

1、使用的是云打码平台来解析验证码

　　用户登录，除了用户名和密码之外，还需要发送验证码才能够成功，但是验证码是图片，需要获取到里面的数字，然后发送给后端。

　　因此，这里采用的是 云打码 平台，来获取验证码图片中的内容，返回内容

• 相关的门户网站在进行登录的时候，如果用户连续登录的次数超过3次或者5次的时候，就会在登录页中动态生成验证码。通过验证码达到分流和反爬的效果。

 

2、云打码平台　　

- 1.对携带验证码的页面数据进行抓取
- 2.可以将页面数据中验证码进行解析，验证码图片下载到本地
- 3.可以将验证码图片提交给三方平台进行识别，返回验证码图片上的数据值
    - 云打码平台：
        - 1.在官网中进行注册（普通用户和开发者用户）
        - 2.登录开发者用户：
            - 1.实例代码的下载（开发文档-》调用实例及最新的DLL-》PythonHTTP实例下载）
            - 2.创建一个软件：我的软件-》添加新的软件
        -3.使用示例代码中的源码文件中的代码进行修改，让其识别验证码图片中的数据值

 

3、验证码，登陆成功，涉及到了session

　　可以使用requests.Session()

　　使用session发送请求，可以获取到cookie　

 

4、封装的类

# yundama.py

\'\'\'
### 云打码平台
- 注册:普通用户和开发者用户
- 登录:
    - 登录普通用户(查看余额)
    - 登录开发者用户:
        - 创建一个软件:我的软件->创建软件
        - 下载示例代码:开发者中心->下载最新的DLL->pythonHttp示例代码下载
\'\'\'

import http.client, mimetypes, urllib, json, time, requests


######################################################################

class YDMHttp:
    apiurl = \'http://api.yundama.com/api.php\'
    username = \'\'
    password = \'\'
    appid = \'\'
    appkey = \'\'

    def __init__(self, username, password, appid, appkey):
        self.username = username
        self.password = password
        self.appid = str(appid)
        self.appkey = appkey

    def request(self, fields, files=[]):
        response = self.post_url(self.apiurl, fields, files)
        response = json.loads(response)
        return response

    def balance(self):
        data = {\'method\': \'balance\', \'username\': self.username, \'password\': self.password, \'appid\': self.appid,
                \'appkey\': self.appkey}
        response = self.request(data)
        if (response):
            if (response[\'ret\'] and response[\'ret\'] < 0):
                return response[\'ret\']
            else:
                return response[\'balance\']
        else:
            return -9001

    def login(self):
        data = {\'method\': \'login\', \'username\': self.username, \'password\': self.password, \'appid\': self.appid,
                \'appkey\': self.appkey}
        response = self.request(data)
        if (response):
            if (response[\'ret\'] and response[\'ret\'] < 0):
                return response[\'ret\']
            else:
                return response[\'uid\']
        else:
            return -9001

    def upload(self, filename, codetype, timeout):
        data = {\'method\': \'upload\', \'username\': self.username, \'password\': self.password, \'appid\': self.appid,
                \'appkey\': self.appkey, \'codetype\': str(codetype), \'timeout\': str(timeout)}
        file = {\'file\': filename}
        response = self.request(data, file)
        if (response):
            if (response[\'ret\'] and response[\'ret\'] < 0):
                return response[\'ret\']
            else:
                return response[\'cid\']
        else:
            return -9001

    def result(self, cid):
        data = {\'method\': \'result\', \'username\': self.username, \'password\': self.password, \'appid\': self.appid,
                \'appkey\': self.appkey, \'cid\': str(cid)}
        response = self.request(data)
        return response and response[\'text\'] or \'\'

    def decode(self, filename, codetype, timeout):
        cid = self.upload(filename, codetype, timeout)
        if (cid > 0):
            for i in range(0, timeout):
                result = self.result(cid)
                if (result != \'\'):
                    return cid, result
                else:
                    time.sleep(1)
            return -3003, \'\'
        else:
            return cid, \'\'

    def report(self, cid):
        data = {\'method\': \'report\', \'username\': self.username, \'password\': self.password, \'appid\': self.appid,
                \'appkey\': self.appkey, \'cid\': str(cid), \'flag\': \'0\'}
        response = self.request(data)
        if (response):
            return response[\'ret\']
        else:
            return -9001

    def post_url(self, url, fields, files=[]):
        for key in files:
            files[key] = open(files[key], \'rb\')
        res = requests.post(url, files=files, data=fields)
        return res.text


######################################################################

def get_code(username,password,code_img,code_type):
    # 用户名(普通用户)
    username = username    #输入普通的登录用户名和密码用于扣费，谁的都可以，不一定和开发者登录用户一致

    # 密码
    password =  password           #\'bobo328410948\'

    # 软件ＩＤ，开发者分成必要参数。登录开发者后台【我的软件】获得！
    appid = 6003

    # 软件密钥，开发者分成必要参数。登录开发者后台【我的软件】获得！
    appkey = \'1f4b564483ae5c907a1d34f8e2f2776c\'

    # 图片文件
    filename = code_img      #验证码的图片

    # 验证码类型，# 例：1004表示4位字母数字，不同类型收费不同。请准确填写，否则影响识别率。在此查询所有类型 http://www.yundama.com/price.html
    codetype = code_type

    # 超时时间，秒
    timeout = 30

    # 检查
    if (username == \'username\'):
        print(\'请设置好相关参数再测试\')
    else:
        # 初始化
        yundama = YDMHttp(username, password, appid, appkey)

        # 登陆云打码
        uid = yundama.login()
        # print(\'uid: %s\' % uid)

        # 查询余额
        balance = yundama.balance()
        # print(\'balance: %s\' % balance)

        # 开始识别，图片路径，验证码类型ID，超时时间（秒），识别结果
        cid, result = yundama.decode(filename, codetype, timeout)
        print(\'cid: %s, result: %s\' % (cid, result))

View Code

二、人人网模拟登陆爬取登录成功之后的界面（requests.Session() , 发送请求可以携带cookie访问登录成功的界面）

# 人人网模拟登录，爬取登陆成功之后展示的网页内容

import requests
from lxml import etree
import urllib
session = requests.Session()

#获取验证码
ren_url = \'http://www.renren.com/\'      #获取登录界面的url
headers = {
    "User-Agent":\'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36\'
}
ren_text = requests.get(url = ren_url,headers=headers).text
tree = etree.HTML(ren_text)
img_url = tree.xpath(\'//*[@id="verifyPic_login"]/@src\')[0]    #定位到验证码图片的img标签，获取验证码图片的链接,xpath获取的是列表所以要列表取值
urllib.request.urlretrieve(url=img_url,filename=\'./code_img.jpg\')    #将图片保存

code_data = get_code(\'bobo328410948\',\'bobo328410948\',\'code_img.jpg\',2004)    #识别验证码图片中的数据值,该方法需要导入，

#模拟登录
url = \'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=2019141540720\'   #登录访问的界面，需要用fiddler抓包,data是从抓包工具中拷贝过来的携带的参数
data = {
    \'captcha_type\':\'web_login\',
    \'domain\':\'renren.com\',
    \'email\':\'chenyanhong0202@126.com\',
    \'f\':\'http%3A%2F%2Fwww.renren.com%2F453427437\',
    \'icode\':\'\',
    \'key_id\':\'1\',
    \'origURL\':\'http://www.renren.com/home\',
    \'password\':\'4fb68112934e7004996da1a4e0676c27c8b898b7e5f7c26b4e19f696187dfe3c\',
    \'rkey\':\'c5c08b36d1daef7b10b7ae3c886850e6\'
}
session.post(url=url,headers=headers,data=data)   #该次请求产生的cookie会被自动存储到session对象中,
                                                  # 再次使用session发送请求时会携带cookie

#携带cookie访问登录成功的界面
detail_url = \'http://www.renren.com/453427437\'    #登录成功之后展会的url
detail_text = session.get(url=detail_url,headers=headers).text    #此时发送get,请求就携带了session,所以可以登录成功

with open("./renren.html","w",encoding="utf-8")as f:
    f.write(detail_text)

备注：

　　1、一般的登录界面，登陆成功之后，会跳转页面，用浏览器抓包，会抓不到，因此需要采用 抓包工具 fildder 来抓取，可以获取到访问的 url 和携带的参数

　　2、在登录成功之后，后台会返回给浏览器一个 cookie 值，此时可以使用 requests.Session() 来发送请求，获取到的cookie会保存到session中，再次使用session发送其他的请求就会携带 cookie 了

三、模拟登录古诗文网（有些数据参数，如果是动态获得的，需要到前台页面html中获取）

#模拟登录古诗文网   https://so.gushiwen.org/user/login.aspx?from=http://so.gushiwen.org/user/collect.aspx

import requests
import urllib
from lxml import etree

s = requests.Session()
login_url = \'https://so.gushiwen.org/user/login.aspx?from=http://so.gushiwen.org/user/collect.aspx\'
headers = {
    "User-Agent":\'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36\'
}
page_text = requests.get(url=login_url,headers=headers).text
tree = etree.HTML(page_text)
img_src = \'https://so.gushiwen.org\'+tree.xpath(\'//*[@id="imgCode"]/@src\')[0]
img_data = s.get(url=img_src,headers=headers).content     #获取图片的时候使用session发送get请求，获取session
with open(\'./img.jpg\',\'wb\') as fp:
    fp.write(img_data)
img_text = get_code(\'bobo328410948\',\'bobo328410948\',\'./img.jpg\',1004)

#模拟登录
url = \'https://so.gushiwen.org/user/login.aspx?from=http%3a%2f%2fso.gushiwen.org%2fuser%2fcollect.aspx\'
data = {
    "__VIEWSTATE":"9AsGvh3Je/0pfxId7DYRUi258ayuEG4rrQ1Z3abBgLoDSOeAUatOZOrAIxudqiOauXpR9Zq+dmKJ28+AGjXYHaCZJTTtGgrEemBWI1ed7oS7kpB7Rm/4yma/+9Q=",
    "__VIEWSTATEGENERATOR":"C93BE1AE",
    "from":"http://so.gushiwen.org/user/collect.aspx",
    "email":"www.zhangbowudi@qq.com",
    "pwd":"bobo328410948",
    "code":img_text,
    "denglu":"登录",
}

page_text = s.post(url=url,headers=headers,data=data).text    #发送登录请求，利用session发送获取cookie
with open(\'./gushiwen.html\',\'w\',encoding=\'utf-8\') as fp:
    fp.write(page_text)

总结：

　　1、上述的 __VIEWSTATE 字段，值的样式密文不确定的，一般为动态变化的，每次的请求都不一样，这种情况会在前台页面中有，解决办法：

　　　　在前台页面的html中，检查，直接搜索该字段，然后看看再哪个标签中，然后解析出来内容，再使用即可

selenium使用

一、selenium介绍

1、环境安装

　　- 环境安装:pip install selenium
　　- 编码流程:
　　　　- 导报:from selenium import webdriver
　　　　- 实例化某一款浏览器对象
　　　　- 自指定自动化操作代码

2、什么是selenium？

　　是Python的一个第三方库，对外提供的接口可以操作浏览器，然后让浏览器完成自动化的操作。　

　　selenium 可以获取动态加载的数据的完整 html，使用selenium 就不需要使用requests模块了，page_source属性中包含了所有的html数据。

　　selenium 要和浏览器的驱动程序一起使用（chromedriver.exe）。

　　动态加载数据的两种形式：1.ajax发送请求返回数据，2.通过 js 来获取数据　

 

3、环境搭建

　　安装selenum：pip install selenium

　　　　获取某一款浏览器的驱动程序（以谷歌浏览器为例）

　　　　　　谷歌浏览器驱动下载地址：http://chromedriver.storage.googleapis.com/index.html

　　　　　　下载的驱动程序必须和浏览器的版本统一，大家可以根据http://blog.csdn.net/huilan_same/article/details/51896672中提供的版本映射表进行对应

 

4、注意点：

　　使用 selenium 中的 webdriver ,浏览器可以实现自动化操作，开发者不再需要手动点击，拖动，滑动等操作；

　　这种方式获取的 html 页面中包含动态加载的数据，直接对获取的html进行解析即可，之前需要判断数据是否为动态加载，然后对其访问的url ，再次发送请求，进行解析。

5、使用的常用语法

#导包
from selenium import webdriver  
#创建浏览器对象，通过该对象可以操作浏览器
browser = webdriver.Chrome(\'驱动路径\')
#使用浏览器发起指定请求
browser.get(url)

#使用下面的方法，查找指定的元素进行操作即可
    find_element_by_id            根据id找节点
    find_elements_by_name         根据name找
    find_elements_by_xpath        根据xpath查找
    find_elements_by_tag_name     根据标签名找
    find_elements_by_class_name   根据class名字查找

二、浏览器自动化实现在百度中搜索“小狗”

from selenium import webdriver
from time import sleep
bro = webdriver.Chrome(executable_path=r\'C:\Users\Administrator\Desktop\爬虫+数据\day_03_爬虫\chromedriver.exe\')    #指定chromedriver
bro.get(url=\'https://www.baidu.com/\')       #等于在地址栏输入url
sleep(2)
text_input = bro.find_element_by_id(\'kw\')   #获取标签

text_input.send_keys(\'小狗\')     #为标签输入内容
sleep(2)
bro.find_element_by_id(\'su\').click()   #点击按钮

sleep(3)

#获取当前的页面源码数据
print(bro.page_source)    #page_source中的数据会包含动态加载的数据
bro.quit()

三、获取豆瓣电影中更多电影详情数据（实现屏幕自动滑动滚轮，获取到的数据包含动态加载的）

#获取豆瓣电影中更多电影详情数据
from selenium import webdriver
from time import sleep

url = \'https://movie.douban.com/typerank?type_name=%E6%83%8A%E6%82%9A&type=19&interval_id=100:90&action=\'
bro = webdriver.Chrome(executable_path=r\'C:\Users\Administrator\Desktop\爬虫+数据\day_03_爬虫\chromedriver.exe\')
bro.get(url)     #等于在地址栏输入url
sleep(3)
bro.execute_script(\'window.scrollTo(0,document.body.scrollHeight)\')    #滑动一屏的距离
sleep(3)
bro.execute_script(\'window.scrollTo(0,document.body.scrollHeight)\')
sleep(3)
bro.execute_script(\'window.scrollTo(0,document.body.scrollHeight)\')
sleep(2)
page_text = bro.page_source

with open(\'./douban.html\',\'w\',encoding=\'utf-8\') as fp:
    fp.write(page_text)

sleep(1)
bro.quit()

四、无屏实现浏览器的自动化（无屏）

浏览器的自动化操作，会可视化的呈现在我们面前，我们不希望展示给用户看，因此需要将屏幕隐藏掉，

方式一：使用 phantomJs（不常用）

　　使用的方法和 chromedriver.exe 的方式一样，配置参数即可，将chromedriver.exe 的路径换成 phantomjs-2.1.1-windows\bin\phantomjs.exe的路径　

　　这种方式不常用，因为 phantomJs 已经不再更新维护了。

#phantomJs
#获取豆瓣电影中更多电影详情数据
from selenium import webdriver
from time import sleep

url = \'https://movie.douban.com/typerank?type_name=%E6%83%8A%E6%82%9A&type=19&interval_id=100:90&action=\'
bro = webdriver.Chrome(executable_path=r\'C:\Users\Administrator\Desktop\爬虫+数据\day_03_爬虫\phantomjs-2.1.1-windows\bin\phantomjs.exe\')   #更换参数配置即可
bro.get(url)     #等于在地址栏输入url
sleep(3)
bro.execute_script(\'window.scrollTo(0,document.body.scrollHeight)\')
sleep(3)
bro.execute_script(\'window.scrollTo(0,document.body.scrollHeight)\')
sleep(3)
bro.execute_script(\'window.scrollTo(0,document.body.scrollHeight)\')
sleep(2)
page_text = bro.page_source

with open(\'./douban.html\',\'w\',encoding=\'utf-8\') as fp:
    fp.write(page_text)

sleep(1)
bro.quit()

方式二：配置浏览器的参数（常用）

 　　这里使用谷歌浏览器，配置参数，记住就好

#谷歌无头浏览器
from selenium import webdriver
from time import sleep

from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument(\'--headless\')
chrome_options.add_argument(\'--disable-gpu\')

#获取豆瓣电影中更多电影详情数据
url = \'https://movie.douban.com/typerank?type_name=%E6%83%8A%E6%82%9A&type=19&interval_id=100:90&action=\'
bro = webdriver.Chrome(executable_path=r\'C:\Users\Administrator\Desktop\爬虫+数据\day_03_爬虫\chromedriver.exe\',chrome_options=chrome_options)    #这里需要多添加一个参数
bro.get(url)     #等于在地址栏输入url
sleep(3)
bro.execute_script(\'window.scrollTo(0,document.body.scrollHeight)\')
sleep(3)
bro.execute_script(\'window.scrollTo(0,document.body.scrollHeight)\')
sleep(3)
bro.execute_script(\'window.scrollTo(0,document.body.scrollHeight)\')
sleep(2)
page_text = bro.page_source

with open(\'./douban.html\',\'w\',encoding=\'utf-8\') as fp:
    fp.write(page_text)
print(page_text)
sleep(1)
bro.quit()

五、爬取QQ空间（有iframe标签的要先定位到iframe标签）

有些标签是隐藏在 ifreame 标签中的额，常规的方法获取不到，定位的标签也没有问题的话，就查看一下，是否包含在iframe中，

需要定位到 frame标签中，再去定位具体的标签

#qq空间

 from selenium import webdriver
　from time import sleep

bro = webdriver.Chrome(executable_path=r\'C:\Users\Administrator\Desktop\爬虫+数据\day_03_爬虫\chromedriver.exe\')
url = \'https://qzone.qq.com/\'
bro.get(url=url)          #等于在地址栏输入url
sleep(2)

#定位到一个具体的iframe
bro.switch_to.frame(\'login_frame\')   #
bro.find_element_by_id(\'switcher_plogin\').click()   #由于 id为seitcher_plogin 的标签，在iframe标签中，因此需要先定位到具体的frame,
sleep(2)

bro.find_element_by_id(\'u\').send_keys(\'460086804\')
bro.find_element_by_id(\'p\').send_keys(\'shuo0127\')

bro.find_element_by_id(\'login_button\').click()

sleep(5)

page_text = bro.page_source
with open(\'qq.html\',\'w\',encoding=\'utf-8\') as fp:
    fp.write(page_text)
bro.quit()

线程池

一、利用线程池爬取梨视频

　　耗时较多的地方，比如下载视频和保存视频的地方，使用线程池即可。

　　由于想要的数据url,是在js中，因此不能使用bs4或者xpath解析，只能使用正则来解析

# 爬取梨视频数据，获取热视频(这里有4个视频)
import random
import re
from multiprocessing.dummy import Pool

import requests
from lxml import etree


# 获取视频流
def getVideoData(url):
    return requests.get(url=url, headers=headers).content


# 保存视频流
def saveVideo(data):
    fileName = str(random.randint(0, 5000)) + \'.mp4\'
    with open(fileName, \'wb\') as fp:
        fp.write(data)


# 实例化一个线程池对象
pool = Pool(5)  # 线程池
url = \'https://www.pearvideo.com/category_1\'
headers = {
    \'User-Agent\': \'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36\'
}
page_text = requests.get(url=url, headers=headers).text
tree = etree.HTML(page_text)
li_list = tree.xpath(\'//div[@id="listvideoList"]/ul/li\')  # 获取包含视频的li标签返回列表

# 获取视频的连接url放到列表中
video_url_list = []
for li in li_list:
    detail_url = \'https://www.pearvideo.com/\' + li.xpath(\'./div/a/@href\')[0]
    detail_page = requests.get(url=detail_url, headers=headers).text
    video_url = re.findall(\'srcUrl="(.*?)",vdoUrl\', detail_page, re.S)[0]      #由于想要的数据url,是在js中，因此不能使用bs4或者xpath解析，只能使用正则来解析
    video_url_list.append(video_url)

# 在线程池中使用map函数
video_data_list = pool.map(getVideoData, video_url_list)  # 将列表中的而每一个元素url,放入回调函数中获取视频流二进制，返回列表形式

pool.map(saveVideo, video_data_list)  # 将返回的每一个视频流，放入回调函数，将视频流保存成视频