yuguog

Scrapy框架的使用

Scrapy框架的命令介绍

scrapy命令分为两种:全局命令和项目命令

全局命令:在哪里都能使用。

项目命令:必须在爬虫项目里才能使用

全局命令

scrapy -h

 

 

 

项目命令

startproject 创建一个爬虫项目 然后进入框架就使用的是项目命令

然后再执行scrapy -h

比全局命令多了很多命令

 

 

 

scrapy命令使用

查看所有命令

scrapy -h

查看帮助信息

scrapy --help

查看版本信息

scrapy version

拿到百度信息shell命令

scrapy shell https://www.baidu.com

查看网址

response.url

查看内部命令

scrapy version -v

 

 

 

新建一个项目框架

scrapy startproject spider_name

创建爬虫类(spider),一个工程中可以存在多个spider,但是名字必须唯一

scrapy genspider name domain

查看当前项目内有多少爬虫

scrapy list

view使用浏览器打开网页

scrapy view http://www.baidu.comy

 

创建项目

爬取我爱我家楼盘信息
网址:https://fang.5i5j.com/bj/loupan/

在命令行编写下面命令,创建项目fangdemo

scrapy startproject fangdemo

创建爬虫命令:

scrapy genspider fang fang.5i5j.com

爬虫名 域名

执行命令 scrapy crawl fang

 

 

 

 

 

 

 

 

分类:

技术点:

相关文章:

  • 2021-01-17
  • 2021-11-30
  • 2021-12-21
  • 2021-10-02
  • 2021-10-02
  • 2021-10-10
  • 2021-11-20
  • 2021-06-16
猜你喜欢
  • 2021-10-02
  • 2021-10-06
  • 2021-09-08
  • 2021-10-07
  • 2021-05-16
  • 2021-10-02
  • 2021-10-02
相关资源
相似解决方案