发现文章里的图片没有了,不知道什么原因,将图片补上了

从了解Python到决定做这个项目,从临近期末考试到放假在家,利用零碎的时间持续了一个月吧。完成这个项目我用了三个阶段

段一:

了解Python,开始学习Python的基本语法,观看相关爬虫视频,了解到爬取网页信息的简单措施

阶段二:

开始着手分析头条收藏夹页面。

头条收藏夹地址格式:

爬取今日头条收藏夹文章列表信息爬取今日头条收藏夹文章列表信息

地址中有三个变量参数,as,cp,max_repin_time,as,cp在页面内可以找到源码,是基于对当前时间戳加密得到的,max_repin_time是指向下一页面URL的关键值,从页面数据列的最后一项中获取

爬取今日头条收藏夹文章列表信息爬取今日头条收藏夹文章列表信息

阶段三:爬取收藏夹内所有文章的分类,标题,作者,发布时间,源地址,并存入EXCEL文件中

获取AS,CP参数

爬取今日头条收藏夹文章列表信息爬取今日头条收藏夹文章列表信息

将时间戳转当地时间

爬取今日头条收藏夹文章列表信息爬取今日头条收藏夹文章列表信息

使用代理

爬取今日头条收藏夹文章列表信息爬取今日头条收藏夹文章列表信息

主文件

爬取今日头条收藏夹文章列表信息爬取今日头条收藏夹文章列表信息

成功输出文件爬取今日头条收藏夹文章列表信息

爬取今日头条收藏夹文章列表信息

2018年2月7日 22:58


转载于:https://blog.51cto.com/4556635/2071632

相关文章:

  • 2021-10-22
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-12-22
  • 2021-07-06
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2021-11-26
  • 2021-09-13
  • 2021-08-10
  • 2021-06-27
  • 2022-12-23
相关资源
相似解决方案