通过前面的学习，我们已经能够解决90%的爬虫问题了，那么scrapy是为了解决剩下的10%的问题么，不是，scrapy框架能够让我们的爬虫效率更高
官方文档 https://scrapy-chs.readthedocs.io/zh_CN/latest/
why scrapy
爬虫是IO密集型任务，因此采用异步IO方式网络通讯效率高，scrapy内置twisted用于下载页面
scrapy可加入requests和beautifulsoup库
scrapy是框架，requests和beautifulsoup是库
scrapy方便扩展，提供了很多内置功能
scrapy内置xpath和css选择器很方便，beautifulsoup最大的缺点就是慢
scrapy框架介绍
借鉴django设计理念
应用twisted，下载页面
HTML解析对象
代理
延迟下载
去重
深度，广度
爬虫流程
Scrapy运行流程
其流程可以描述如下： 调度器把requests-->引擎-->下载中间件--->下载器 下载器发送请求，获取响应---->下载中间件---->引擎--->爬虫中间件--->爬虫 爬虫提取url地址，组装成request对象---->爬虫中间件--->引擎--->调度器 爬虫提取数据--->引擎--->管道 管道进行数据的处理和保存
scrapy中每个模块的具体作用
项目结构
project_name/
scrapy.cfg
project_name/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
爬虫1.py
爬虫2.py
爬虫3.py
文件说明：
scrapy.cfg 项目的主配置信息。（真正爬虫相关的配置信息在settings.py文件中）
items.py 设置数据存储模板，用于结构化数据，如：Django的Model
pipelines 数据处理行为，如：一般结构化的数据持久化
settings.py 配置文件，如：递归的层数、并发数，延迟下载等
spiders 爬虫目录，如：创建文件，编写爬虫规则
创建scrapy项目
创建虚拟环境
mkvirtualenv article_spider
安装scrapy
twisted不是很完美支持scrapy,需要重新安装twisted
pip install -i https://pypi.douban.com/simple scrapy
创建工程
scrapy startproject ArticleSpider
创建爬虫
scrapy genspider jobbole blog.jobbole.com
调试scrapy
pycharm调试
项目目录下新建文件如main.py，添加
import sys import os from scrapy.cmdline import execute sys.path.append(os.path.dirname(os.path.abspath(__file__))) execute(["scrapy", "crawl", "jobbole"])
scrapy的debug信息
每次程序启动后，默认情况下，终端都会出现很多的debug信息，那么下面我们来简单认识下这些信息
scrapy shell调试
scrapy shell是scrapy提供的一个终端工具，能够通过它查看scrapy中对象的属性和方法，以及测试xpath
response.url：当前响应的url地址
response.request.url：当前响应对应的请求的url地址
response.headers：响应头
response.body：响应体，也就是html代码，默认是byte类型
response.requests.headers：当前响应的请求头
eg:
scrapy shell http://blog.jobbole.com/110287/
css语法
title = response.css(".entry-header h1::text").extract_first()
xpath语法
title = response.xpath("//div[@class='entry-header']/h1/text()").extract_first()
title '2016 腾讯软件开发面试题（部分）'
item/pipeline
用于数据保存、去重等操作
使用默认pipeline保存图片
# -*- coding: utf-8 -*- import re import datetime import scrapy from scrapy.http import Request from urllib import parse from ArticleSpider.items import ArticleItem from ArticleSpider.utils.common import get_md5 class JobboleSpider(scrapy.Spider): name = 'jobbole' allowed_domains = ['blog.jobbole.com'] start_urls = ['http://blog.jobbole.com/all-posts/'] def parse(self, response): """ 1. 获取文章列表页中的文章url并交给scrapy下载后并进行解析 2. 获取下一页的url并交给scrapy进行下载， 下载完成后交给parse """ # 解析列表页中的所有文章url并交给scrapy下载后并进行解析 post_nodes = response.css("#archive .floated-thumb .post-thumb a") for post_node in post_nodes: image_url = post_node.css("img::attr(src)").extract_first("") post_url = post_node.css("::attr(href)").extract_first("") yield Request(url=parse.urljoin(response.url, post_url), meta={"front_image_url": image_url}, callback=self.parse_detail) # meta把上一个url的内容传到下一个url # urljoin作用：url有域名不加域名，没有域名则添加域名 # 提取下一页并交给scrapy进行下载 next_url = response.css(".next.page-numbers::attr(href)").extract_first("") if next_url: yield Request(url=parse.urljoin(response.url, next_url), callback=self.parse) def parse_detail(self, response): # 通过css选择器提取字段 front_image_url = response.meta.get("front_image_url", "") # 文章封面图 title = response.css(".entry-header h1::text").extract()[0] create_date = response.css("p.entry-meta-hide-on-mobile::text").extract()[0].strip().replace("·", "").strip() praise_nums = response.css(".vote-post-up h10::text").extract()[0] fav_nums = response.css(".bookmark-btn::text").extract()[0] match_re = re.match(".*?(\d+).*", fav_nums) if match_re: fav_nums = int(match_re.group(1)) else: fav_nums = 0 comment_nums = response.css("a[href='#article-comment'] span::text").extract()[0] match_re = re.match(".*?(\d+).*", comment_nums) if match_re: comment_nums = int(match_re.group(1)) else: comment_nums = 0 content = response.css("div.entry").extract()[0] tag_list = response.css("p.entry-meta-hide-on-mobile a::text").extract() tag_list = [element for element in tag_list if not element.strip().endswith("评论")] tags = ",".join(tag_list) # item功能 article_item = ArticleItem() # 实例化item article_item["url_object_id"] = get_md5(response.url) article_item["title"] = title article_item["url"] = response.url try: create_date = datetime.datetime.strptime(create_date, "%Y/%m/%d").date() except Exception as e: create_date = datetime.datetime.now().date() article_item["create_date"] = create_date article_item["front_image_url"] = [front_image_url] article_item["praise_nums"] = praise_nums article_item["comment_nums"] = comment_nums article_item["fav_nums"] = fav_nums article_item["tags"] = tags article_item["content"] = content yield article_item # yield之后item传递到pipeline中