23 Scrapy爬虫第一个 实例

一、Scrapy爬虫的常用命令

 

二、建立第一个项目

https://docs.scrapy.org/en/latest/intro/tutorial.html

1、创建一个Scrapy爬虫工程

scrapy startproject python123demo　　命令创建了一个python123demo新工程

2、在工程中产生一个Scrapy爬虫

进入python123demo目录，输入命令：scrapy genspider demo python123.io

在D:\pycodes\python123demo\python123demo\spiders中生成了一个demo.py文件

生成的demo.py文件如下：

# -*- coding: utf-8 -*-
import scrapy


class DemoSpider(scrapy.Spider):
    name = \'demo\'
    allowed_domains = [\'python123.io\']
    start_urls = [\'http://python123.io/\']

    def parse(self, response):
        pass

3、配置产生的spider

# -*- coding: utf-8 -*-
import scrapy


class DemoSpider(scrapy.Spider):
    name = \'demo\'
    # allowed_domains = [\'python123.io\']
    start_urls = [\'http://python123.io/ws/demo.html\']

    def parse(self, response):
        fname = response.url.split(\'/\')[-1]
        with open(fname, \'wb\') as f:
            f.write(response.body)
        self.log(\'Saved file %s.\' % name)

 

4、运行爬虫，获取网页

scrapy crawl demo　　运行demo

 

5、结果

在python123demo项目目录中存储一个网页

6、代码分析

关键字yield有重要作用！