scrapy爬取多页数据

初始化一个项目

新建一个爬虫文件

要爬取的网页

- 在a标签上右键 copy >>> copy xPath 复制到剪切板的是如下内容
/html/body/div[2]/div[2]/div[1]/div[4]/ul/li[2]/a

获取所有的需要爬取的页面url

• scrapy runspider getNews.py -o newsData.json
  

编写解析函数

• scrapy runspider getNews.py -o newsData.json