Crawl Spider 爬取微信小程序社区信息

Crawl Spider 爬取微信小程序社区信息

yls 2020/5/27
需要使用 LinkExtractor Rule来决定爬虫的具体走向

• Crawl Spider介绍

1. 创建项目

scrapy startproject wxapp

2. 创建爬虫

cd wxapp
scrapy genspider -t crawl wxappSpider "wxapp-union.com"

3. 编辑需要爬取的数据字段 items.py

import scrapy


class WxappItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    author = scrapy.Field()
    time = scrapy.Field()
    content = scrapy.Field()

4. 编辑保存数据的管道 pipelines.py,将数据保存到json文件中

from scrapy.exporters import JsonLinesItemExporter


class WxappPipeline:
    # 当爬虫被打开的时候会调用
    def open_spider(self, spider):
        print("爬虫开始执行。。。")
        fileName = "article.json"
        self.fp = open(fileName, "wb")  # 必须以二进制的形式打开文件
        self.exporter = JsonLinesItemExporter(self.fp, ensure_ascii=False, encoding="utf-8")

    # 当爬虫有item传过来的时候会调用
    def process_item(self, item, spider):
        self.exporter.export_item(item)
        return item

    # 当爬虫关闭的时候会调用
    def close_spider(self, spider):
        print("爬虫执行结束")

5. 在settings.py中激活管道

ITEM_PIPELINES = {
   \'wxapp.pipelines.WxappPipeline\': 300,
}

6. 编写爬虫 wxappSpider.py

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from scrapylearn.wxapp.wxapp.items import WxappItem


class WxappspiderSpider(CrawlSpider):
    name = \'wxappSpider\'
    allowed_domains = [\'wxapp-union.com\']
    start_urls = [\'http://www.wxapp-union.com/portal.php?mod=list&catid=2&page=1\']

    """
    allow=r\'Items/\': 满足括号中“正则表达式”的值会被提取，如果为空，则全部匹配。
    callback="": 指定规则解析器解析数据的规则（回调函数）
    follow：是一个布尔值(boolean),制定了根据该规则从response提取的链接是否需要跟进。
           若为True:需要在当前规则提取的链接请求后，返回的response中继续提取链接
           若为False：不需要在当前规则提取的链接请求后，返回的response中继续提取链接
           如果callback为None，follow默认设置为True，否则默认为Flase
    """
    rules = (
        # 该规则只负责提取链接，需要跟进，不负责解析数据，所以不需要callback
        Rule(LinkExtractor(allow=r\'.+mod=list&catid=2&page=\d+\'), follow=True),
        # 该规则中 \. 是将正则中的 . 进行转义，原样匹配
        Rule(LinkExtractor(allow=r\'.+article-.+\.html\'), callback=\'parse_detail\', follow=False),
    )

    def parse_detail(self, response):
        title = response.xpath("//h1[@class=\'ph\']/text()").get().strip()
        author_p = response.xpath("//p[@class=\'authors\']")
        author = author_p.xpath("./a/text()").get().strip()
        time = author_p.xpath("./span/text()").get().strip()
        content = response.xpath("//td[@id=\'article_content\']//text()").getall()
        content = "".join(content).strip()
        item = WxappItem(title=title, author=author, time=time, content=content)
        yield item

    # 默认生成的，没使用到
    def parse_item(self, response):
        item = {}
        # item[\'domain_id\'] = response.xpath(\'//input[@id="sid"]/@value\').get()
        # item[\'name\'] = response.xpath(\'//div[@id="name"]\').get()
        # item[\'description\'] = response.xpath(\'//div[@id="description"]\').get()
        return item

7. 在项目根目录下，运行爬虫

#scrapy crawl [爬虫名]
scrapy crawl wxappSpider

8. 代码托管地址:https://github.com/1612480331/scrapy/tree/master/wxapp