Python百度文库爬虫之doc文件

Python百度文库爬虫之doc文件

说明：此文件是在爬取txt文件下的基础进行的，因此重复内容会一笔带过，不懂请看前面爬取txt文件链接

对于文件的所有类型，我都会用一篇文章进行说明，链接：

1. Python百度文库爬虫之txt文件
2. Python百度文库爬虫之doc文件
3. Python百度文库爬虫之pdf文件
4. Python百度文库爬虫之ppt文件
5. [Python百度文库爬虫之xls文件
6. Python百度文件爬虫终极版

一.网页分析

doc文件相对于txt文件来说，链接相对简单

以文件链接：https://wenku.baidu.com/view/0ee9fbc585868762caaedd3383c4bb4cf7ecb78f.html?fr=search

from IPython.display import Image
Image("./Images/doc_0.png",width="600px",height="400px")

分析网页得到，网页的数据链接为：

Image("./Images/doc_1.png",width="600px",height="400px")

现在我们就是要查找这些数据链接的URL，分析得到这些url在文件url源代码中：

Image("./Images/doc_2.png",width="600px",height="400px")

现在我们通过正则表达式来获取数据URL:
关于正则表达式的学习：链接

import requests
import json
import re
import json

session=requests.session()

url=input("请输入下载的文件URL地址：")

content=session.get(url).content.decode(\'gbk\')
doc_id=re.findall(\'view/(.*?).html\',url)[0]
types=re.findall(r"docType.*?:.*?\'(.*?)\'",content)[0]
title=re.findall(r"title.*?:.*?\'(.*?)\'",content)[0]

请输入下载的文件URL地址： https://wenku.baidu.com/view/0ee9fbc585868762caaedd3383c4bb4cf7ecb78f.html?fr=search

doc_id

\'0ee9fbc585868762caaedd3383c4bb4cf7ecb78f\'

types

\'doc\'

title

\'爬虫技术是什么\'

二.数据URL获取

接下来是最关键数据URL获取，只有正确获取URL,才能采集数据

url_list=re.findall(r\'(https.*?0.json.*?)\\x22}\',content)
url_list=[addr.replace("\\\\\\/","/") for addr in url_list]

result=""

for url in set(url_list):
    content=session.get(url).content.decode(\'gbk\')
    
    y=0
    txtlists=re.findall(r\'"c":"(.*?)".*?"y":(.*?),\',content)
    for item in txtlists:
        # 当item[1]的值与前面不同时，代表要换行了
        if not y==item[1]:
            y=item[1]
            n=\'\n\'
        else:
            n=\'\'
        result+=n
        result+=item[0].encode(\'utf-8\').decode(\'unicode_escape\',\'ignore\')

E:\Anaconda\envs\mypython\lib\site-packages\ipykernel_launcher.py:15: DeprecationWarning: invalid escape sequence \'\/\'
  from ipykernel import kernelapp as app

result=result.replace("\\","")
filename="./Files/"+title+\'.docx\'

with open(filename,\'w\',encoding="utf-8") as f:
    f.write(result)
    
f.close()

Image("./Images/doc_3.png",width="600px",height="400px")

四.函数编程

1.功能进一步完善

提供可以下载[‘txt’,‘doc’]类型的文件

import requests
import json
import re
import os

session=requests.session()

path="F:\\桌面\\Files"

if not os.path.exists(path):
    os.mkdir(path)

def parse_txt1(code,doc_id):
    
    content_url=\'https://wenku.baidu.com/api/doc/getdocinfo?callback=cb&doc_id=\'+doc_id

    content=session.get(content_url).content.decode(code)
    md5sum=re.findall(\'"md5sum":"(.*?)",\',content)[0]
    rsign=re.findall(\'"rsign":"(.*?)"\',content)[0]
    pn=re.findall(\'"totalPageNum":"(.*?)"\',content)[0]
    
    content_url=\'https://wkretype.bdimg.com/retype/text/\'+doc_id+\'?rn=\'+pn+\'&type=txt\'+md5sum+\'&rsign=\'+rsign
    content=json.loads(session.get(content_url).content.decode(\'gbk\'))
    
    result=\'\'

    for item in content:
        for i in item[\'parags\']:
            result+=i[\'c\']
            
    return result

def parse_txt2(content,code,doc_id):
    md5sum=re.findall(\'"md5sum":"(.*?)",\',content)[0]
    rsign=re.findall(\'"rsign":"(.*?)"\',content)[0]
    pn=re.findall(\'"show_page":"(.*?)"\',content)[0]
    
    content_url=\'https://wkretype.bdimg.com/retype/text/\'+doc_id+\'?rn=\'+pn+\'&type=txt\'+md5sum+\'&rsign=\'+rsign
    content=json.loads(session.get(content_url).content.decode(\'utf-8\'))
    
    result=\'\'

    for item in content:
        for i in item[\'parags\']:
            result+=i[\'c\']
            
    return result

def parse_doc(content):
    
    url_list=re.findall(r\'(https.*?0.json.*?)\\x22}\',content)
    url_list=[addr.replace("\\\\\\/","/") for addr in url_list]
    
    result=""

    for url in set(url_list):
        content=session.get(url).content.decode(\'gbk\')

        y=0
        txtlists=re.findall(r\'"c":"(.*?)".*?"y":(.*?),\',content)
        for item in txtlists:
            # 当item[1]的值与前面不同时，代表要换行了
            if not y==item[1]:
                y=item[1]
                n=\'\n\'
            else:
                n=\'\'
            result+=n
            result+=item[0].encode(\'utf-8\').decode(\'unicode_escape\',\'ignore\')
    
    return result
    


def save_file(title,filename,content):
    
    with open(filename,\'w\',encoding=\'utf-8\') as f:
        f.write(content)
        print("文件"+title+"保存成功")
    f.close()
    

def main():
    
    print("欢迎来到百度文库文件下载：")
    print("-----------------------\r\n")
     
    
    while True:
        try:
            print("1.doc \n 2.txt \n 3.ppt \n 4.xls\n 5.ppt\n")
            types=input("请输入需要下载文件的格式(0退出)：")

            if types=="0":
                break

            if types not in [\'txt\',\'doc\']:
                print("抱歉功能尚未开发")
                continue


            url=input("请输入下载的文库URL地址：")

            # 网页内容
            response=session.get(url)

            code=re.findall(\'charset=(.*?)"\',response.text)[0]

            if code.lower()!=\'utf-8\':
                code=\'gbk\'

            content=response.content.decode(code)

            # 文件id
            doc_id=re.findall(\'view/(.*?).html\',url)[0]
            # 文件类型
            #types=re.findall(r"docType.*?:.*?\'(.*?)\'",content)[0]
            # 文件主题
            #title=re.findall(r"title.*?:.*?\'(.*?)\'",content)[0]

            if types==\'txt\':
                md5sum=re.findall(\'"md5sum":"(.*?)",\',content)
                if md5sum!=[]:
                    result=parse_txt2(content,code,doc_id)
                    title=re.findall(r\'<title>(.*?). \',content)[0]
                    #filename=os.getcwd()+"\\Files\\"+title+\'.txt\'
                    filename=path+"\\"+title+".txt"
                    save_file(title,filename,result)
                else: 
                    result=parse_txt1(code,doc_id)
                    title=re.findall(r"title.*?:.*?\'(.*?)\'",content)[0]
                    #filename=os.getcwd()+"\\Files\\"+title+\'.txt\'
                    filename=path+"\\"+title+".txt"
                    save_file(title,filename,result)
            elif types==\'doc\':
                title=re.findall(r"title.*?:.*?\'(.*?)\'",content)[0]
                result=parse_doc(content)
                filename=path+"\\"+title+".doc"
                save_file(title,filename,result)
                
        except Exception as e:
            print(e)


if __name__==\'__main__\':
    main()

欢迎来到百度文库文件下载：
-----------------------

1.doc 
 2.txt 
 3.ppt 
 4.xls
 5.ppt



请输入需要下载文件的格式(0退出)： txt
请输入下载的文库URL地址： https://wenku.baidu.com/view/9d0ed76fae45b307e87101f69e3143323968f5e4.html?fr=search


文件c语言编写网络爬虫保存成功
1.doc 
 2.txt 
 3.ppt 
 4.xls
 5.ppt



请输入需要下载文件的格式(0退出)： doc
请输入下载的文库URL地址： https://wenku.baidu.com/view/0ee9fbc585868762caaedd3383c4bb4cf7ecb78f.html?fr=search


E:\Anaconda\envs\mypython\lib\site-packages\ipykernel_launcher.py:69: DeprecationWarning: invalid escape sequence \'\/\'


文件爬虫技术是什么保存成功
1.doc 
 2.txt 
 3.ppt 
 4.xls
 5.ppt



请输入需要下载文件的格式(0退出)： doc
请输入下载的文库URL地址： https://wenku.baidu.com/view/f6ae76c8bf1e650e52ea551810a6f524cdbfcb64.html?fr=search


文件保存成功
1.doc 
 2.txt 
 3.ppt 
 4.xls
 5.ppt



请输入需要下载文件的格式(0退出)： 0

由于上传限制，演示过程链接：

https://www.yuque.com/lq6h/yil9xt/nlzoaq

Image("./Images/doc_5.png",width="600px",height="400px")

五.pyinstaller打包

这次添加了下载doc文件的功能，本次就不打包了。基本功能与下载txt相似，等能下载全部文件之后再进行打包