50行代码爬取微信公众号所有文章

#今日目标

**50行代码爬取微信公众号所有文章**

今天要爬取的是微信公众号，爬取公众号的方式常见的有两种。一是通过搜狗搜索去获取，缺点是只能获取最新的十条推送文章，
今天介绍另一种通过抓包PC端微信的方式去获取公众号文章的方法，相对其他方法更加便捷。
分析：我们发现每次下拉刷新文章的时候都会请求 mp.weixin.qq.com/mp/xxx公众号不让添加主页链接，xxx表示profile_ext） 这个接口。
经过多次测试分析，用到了以下几个参数：
__biz : 用户和公众号之间的唯一id，
uin ：用户的私密id
key ：请求的秘钥，一段时候只会就会失效。
offset ：偏移量
count ：每次请求的条数
*代码实现*
```
import requests
import json
import time
from pymongo import MongoClient

url = \'http://mp.weixin.qq.com/mp/xxx\'（公众号不让添加主页链接，xxx表示profile_ext)

# Mongo配置
conn = MongoClient(\'127.0.0.1\', 27017)
db = conn.wx  #连接wx数据库，没有则自动创建
mongo_wx = db.article  #使用article集合，没有则自动创建

def get_wx_article(biz, uin, key, index=0, count=10):
    offset = (index + 1) * count
    params = {
        \'__biz\': biz,
        \'uin\': uin,
        \'key\': key,
        \'offset\': offset,
        \'count\': count,
        \'action\': \'getmsg\',
        \'f\': \'json\'
    }

    headers = {
        \'User-Agent\': \'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36\'
    }

    response = requests.get(url=url, params=params, headers=headers)
    resp_json = response.json()
    if resp_json.get(\'errmsg\') == \'ok\':
        resp_json = response.json()
        # 是否还有分页数据， 用于判断return的值
        can_msg_continue = resp_json[\'can_msg_continue\']
        # 当前分页文章数
        msg_count = resp_json[\'msg_count\']
        general_msg_list = json.loads(resp_json[\'general_msg_list\'])
        list = general_msg_list.get(\'list\')
        print(list, "**************")
        for i in list:
            app_msg_ext_info = i[\'app_msg_ext_info\']
            # 标题
            title = app_msg_ext_info[\'title\']
            # 文章地址
            content_url = app_msg_ext_info[\'content_url\']
            # 封面图
            cover = app_msg_ext_info[\'cover\']

            # 发布时间
            datetime = i[\'comm_msg_info\'][\'datetime\']
            datetime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(datetime))

            mongo_wx.insert({
                \'title\': title,
                \'content_url\': content_url,
                \'cover\': cover,
                \'datetime\': datetime
            })
        if can_msg_continue == 1:
            return True
        return False
    else:
        print(\'获取文章异常...\')
        return False


if __name__ == \'__main__\':
    biz = \'Mzg4MTA2Nzg0NA==\'
    uin = \'NDIyMTI5NDM1\'
    key = \'20a680e825f03f1e7f38f326772e54e7dc0fd02ffba17e92730ba3f0a0329c5ed310b0bd55
　　　　　　b3c0b1f122e5896c6261df2eaea4036ab5a5d32dbdbcb0a638f5f3605cf1821decf486bb6eb4d92d36c620\'
    index = 0
    while 1:
        print(f\'开始抓取公众号第{index + 1} 页文章.\')
        flag = get_wx_article(biz, uin, key, index=index)
        # 防止和谐，暂停8秒
        time.sleep(8)
        index += 1
        if not flag:
            print(\'公众号文章已全部抓取完毕，退出程序.\')
            break

        print(f\'..........准备抓取公众号第{index + 1} 页文章.\')

```