创建scrapy项目

  • windows+r打开cmd命令行工具,cd Desktop进入到桌面目录

  • 输入创建项目命令 scrapy startproject 项目名

  • cd 到 项目目录下 cd项目名

  • 执行创建爬虫的命令 scrapy genspider 爬虫名 爬虫起始网址

创建scrapy项目

  • 启动爬虫,找到pycharm自带的命令行工具

创建scrapy项目

   1、输入启动爬虫命令 scrapy crawl 爬虫名(例如:jobs),回车即可
PS:可以使用另外一种方式以debug模式启动爬虫,可以断点调试

   2、新建一个py文件,例如debug.py,在该文件中写入以下代码,右键debug运行即可使用断点调试

创建scrapy项目

  3、修改robots协议

创建scrapy项目

相关文章:

  • 2021-04-02
  • 2021-12-25
  • 2021-12-05
  • 2021-12-19
  • 2021-12-25
  • 2021-09-07
  • 2021-12-20
  • 2021-12-23
猜你喜欢
  • 2022-02-09
  • 2021-12-16
  • 2021-06-15
  • 2021-11-08
  • 2021-12-30
  • 2021-05-19
相关资源
相似解决方案