DouBan Crawler Series

代码托管在Github -> DouBanCrawls

完成豆瓣读书/电影相关的爬取,豆瓣电影爬虫(DouBanMovie)使用了简单的多线程极大地提高了爬虫效率,可与原始版本的读书爬虫(DouBanReading)相比较,更多信息待加入补充。

豆瓣图书爬虫 [Python 3.6.1]

爬取结果在Result_Book文件夹,可直接查看

实现功能:

  • 按标签名称进行相关图书信息的抓取,排序后存入本地excel,可自行进行进一步筛选,按Tag存取在不同的Sheet
  • 使用User Agent伪装成不同的浏览器进行爬取,并加入随机延时来更好的模仿浏览器行为,避免爬虫被封
豆瓣页面截图:

<Python爬虫>爬取豆瓣图书/豆瓣电影系列

运行时截图:

<Python爬虫>爬取豆瓣图书/豆瓣电影系列

Excel结果截图:

<Python爬虫>爬取豆瓣图书/豆瓣电影系列

豆瓣电影爬虫

爬取结果在Result_Movie文件夹,可直接查看

实现功能:

  • 增加了简单的多线程,极大地提高了爬虫效率。
  • 按标签名称进行相关电影信息的抓取,排序后存入本地excel,可自行进行进一步筛选,按Tag存取在不同的Sheet
  • 使用User Agent伪装成不同的浏览器进行爬取,并加入随机延时来更好的模仿浏览器行为,避免爬虫被封
豆瓣页面截图:

<Python爬虫>爬取豆瓣图书/豆瓣电影系列

运行时截图:

<Python爬虫>爬取豆瓣图书/豆瓣电影系列

Excel结果截图:

<Python爬虫>爬取豆瓣图书/豆瓣电影系列

欢迎 Star / PR.

相关文章:

  • 2021-08-21
  • 2021-07-15
  • 2021-11-06
  • 2022-12-23
  • 2022-02-10
  • 2021-09-21
猜你喜欢
  • 2021-11-24
  • 2021-06-25
  • 2021-12-18
  • 2021-10-07
  • 2021-10-13
  • 2022-01-01
  • 2022-12-23
相关资源
相似解决方案