在浏览器中安装web scraper插件。

所有安装包下载链接: https://pan.baidu.com/s/1CfAWf0wMO6WqicoUgdYgkg 提取码: nn2e

安装教程:http://www.iwebscraper.com/webscraper-install/

安装成功后打开任意网站,按F12

【Webscraper】不懂编程也能爬虫

 二、插件简单介绍

步骤

【Webscraper】不懂编程也能爬虫

1、选择器选项

【Webscraper】不懂编程也能爬虫

2、sitemap选项

【Webscraper】不懂编程也能爬虫

 三、爬取58同城——多页爬取

【Webscraper】不懂编程也能爬虫

 

 

 【Webscraper】不懂编程也能爬虫

 

 

 【Webscraper】不懂编程也能爬虫

【Webscraper】不懂编程也能爬虫

【Webscraper】不懂编程也能爬虫

 说明:爬取后有多余的换行和空格,在excel中使用trim和clean函数去除空格、换行

爬取多页(1-10页)

【Webscraper】不懂编程也能爬虫

 【Webscraper】不懂编程也能爬虫  【Webscraper】不懂编程也能爬虫

 【Webscraper】不懂编程也能爬虫

四、爬取微博——滚动爬取

element scroll down滚动爬取

【Webscraper】不懂编程也能爬虫

【Webscraper】不懂编程也能爬虫

 

 【Webscraper】不懂编程也能爬虫

五、点击爬取——爬取IT桔子和微博评论

IT桔子

【Webscraper】不懂编程也能爬虫

 

 【Webscraper】不懂编程也能爬虫

微博评论

 【Webscraper】不懂编程也能爬虫

 【Webscraper】不懂编程也能爬虫

 要点解析

【Webscraper】不懂编程也能爬虫

抓取多页的方法

【Webscraper】不懂编程也能爬虫

 六、爬取拉勾网——二级目录的多页爬取

【Webscraper】不懂编程也能爬虫

【Webscraper】不懂编程也能爬虫

【Webscraper】不懂编程也能爬虫

【Webscraper】不懂编程也能爬虫

 

 【Webscraper】不懂编程也能爬虫

 

相关文章:

  • 2021-12-09
  • 2021-09-07
  • 2021-09-26
  • 2021-11-27
  • 2021-12-23
  • 2021-11-27
  • 2021-11-30
猜你喜欢
  • 2021-10-16
  • 2021-06-01
  • 2021-04-20
  • 2021-10-18
  • 2021-06-04
  • 2021-11-21
相关资源
相似解决方案