wuweixiong
  1. 打开cmd

  2. 想将项目放在C:\python\PycharmProjects\scrapy_demo文件夹下,cd到该目录下

  3. 输入创建项目命令:scrapy startproject project_name

  4. 使用pycharm打开项目所在目录

  5. 文件说明
    items.py是定义存储对象的文件,决定爬取哪些项目;
    middlewares.py文件是中间件,一般不用进行修改,主要负责相关组件之间的请求与响应;
    pipelines.py是管道文件,决定爬取后的数据如何进行处理和存储;
    settings.py是项目的设置文件,设置项目管道数据的处理方法、爬虫频率、表名等;
    spiders文件夹中放置的是爬虫主体文件(用于实现爬虫逻辑)和一个__init__.py空文件。

分类:

技术点:

相关文章:

  • 2021-09-07
  • 2022-12-23
  • 2021-09-13
  • 2021-12-09
  • 2021-06-01
  • 2022-02-04
  • 2021-04-18
  • 2021-04-03
猜你喜欢
  • 2021-10-07
  • 2021-10-13
  • 2021-05-30
  • 2022-02-09
  • 2021-12-25
  • 2021-12-05
相关资源
相似解决方案