scrapy爬取数据保存csv、mysql、mongodb、json

目录

• 前言

• Items

• Pipelines

前言

用Scrapy进行数据的保存进行一个常用的方法进行解析

Items

item 是我们保存数据的容器，其类似于 python 中的字典。使用 item 的好处在于： Item 提供了额外保护机制来避免拼写错误导致的未定义字段错误。且看栗子：

import scrapy
class Doubantop250Item(scrapy.Item):
    title = scrapy.Field()  # 电影名字
    star = scrapy.Field()  # 电影评分
    quote = scrapy.Field()  # 脍炙人口的一句话
    movieInfo = scrapy.Field()  # 电影的描述信息，包括导演、主演、电影类型

View Code