hzcya1995

1.网易云课堂课程数据-写在前面

今天咱们抓取一下网易云课堂的课程数据,这个网站的数据量并不是很大,我们只需要使用requests就可以快速的抓取到这部分数据了。
你第一步要做的是打开全部课程的地址,找出爬虫规律,

地址如下:
https://study.163.com/courses/

在这里插入图片描述

我简单的看了一下,页面数据是基于
https://study.163.com/p/search/studycourse.json 这个地址进行异步加载的。你自己尝试的时候需要借助开发者工具
进行多次尝试,抓取到这个地址的数据为准。

还有一个地方需要注意,这次是post提交方式,并且提交数据是payload类型的,这个原因导致我们的代码和以前的略微有一些不同的地方。

在这里插入图片描述

提取

分类:

技术点:

相关文章:

  • 2021-10-05
  • 2019-02-12
  • 2019-01-22
  • 2021-10-10
  • 2020-01-16
  • 2019-02-14
  • 2018-12-24
  • 2019-01-04
猜你喜欢
  • 2019-01-08
  • 2019-01-10
  • 2019-01-07
  • 2019-01-03
  • 2021-11-23
相关资源
相似解决方案