scrapy项目的目录结构

在一个工程里,创建Scrapy框架的项目需要使用命令:scrapy startproject  项目名

创建成功后会出现以下划红方框的目录结构:

scrapy项目的目录结构

spiders:存储爬虫代码目录

__init__.py:爬虫项目的初始化文件,用来对项目做初始化工作。

 items.py:爬虫项目的数据容器文件,用来定义要获取的数据。保存数据

 pipelines.py:爬虫项目的管道文件,用来对items中的数据进行进一步的加工处理。

settings.py:爬虫项目的设置文件,包含了爬虫项目的设置信息。

middlewares.py:爬虫项目的中间件文件。

scrapy.cfg:爬虫项目的配置文件。


相关文章:

  • 2021-12-06
  • 2021-10-31
  • 2021-05-30
  • 2022-02-06
  • 2021-10-08
猜你喜欢
  • 2021-11-14
  • 2021-12-04
  • 2022-01-05
  • 2021-06-06
  • 2021-07-24
  • 2021-06-16
  • 2021-08-18
相关资源
相似解决方案