1、登陆公众号后台(也可以用selenium模拟登陆获取cookies)

登陆后复制粘贴cookies,此时cookies是字符串形式,我们需要转成字典形式

python爬取微信公众号并向微信发消息报警监控

python爬取微信公众号并向微信发消息报警监控

2、获取token请求参数

python爬取微信公众号并向微信发消息报警监控

3、爬取接口在分享图文这里

python爬取微信公众号并向微信发消息报警监控

该接口可输入一些查询字符串,返回公众号文章数据,我们利用的就是该接口

python爬取微信公众号并向微信发消息报警监控

接口url和post请求参数

python爬取微信公众号并向微信发消息报警监控

4、向接口发送请求

我们看到该接口的响应是json数据

python爬取微信公众号并向微信发消息报警监控

向接口发送请求

python爬取微信公众号并向微信发消息报警监控

5、获取数据

python爬取微信公众号并向微信发消息报警监控

6、爬虫监控,出现异常实时向微信发送消息

python爬取微信公众号并向微信发消息报警监控

python爬取微信公众号并向微信发消息报警监控

例如:我在获取到token的时候向微信发送报告

python爬取微信公众号并向微信发消息报警监控

python爬取微信公众号并向微信发消息报警监控

7、抓取数据存到MySQL(标题,地址,内容)

python爬取微信公众号并向微信发消息报警监控

python爬取微信公众号并向微信发消息报警监控

说明:

1、模拟登陆也可以用selenium进行,然后获取cookies

2、公众号文章内容抓取仍存在缺陷,数据存在不完整性,仍需继续改进

本人经验有限,不足之处欢迎指正

相关文章:

  • 2021-10-28
  • 2022-01-12
  • 2021-04-19
  • 2022-01-08
  • 2022-01-13
  • 2022-01-21
  • 2021-09-28
  • 2022-01-29
猜你喜欢
  • 2021-05-05
  • 2021-09-13
  • 2021-12-22
  • 2022-01-26
  • 2021-12-03
  • 2021-07-26
相关资源
相似解决方案