Scrapy爬虫框架(1)--安装配置与常用命令

安装与配置

1. Scrapy有几个安装依赖,一般来说可以直接pip install scrapy,这个过程会自动下载安装其他几个依赖.
2. 上述安装方法不成功,则需要手动安装依赖包

• 步骤
  • 安装 lxmlpip install lxml
  • 安装 cryptography pip install cryptography
  • 安装 twisted pip install twisted
  • 安装 scrapy pip install scrapy
• 理论上开代理会下载的快一些,因为默认是国外源,但实际安装时开代理却会出现错误(亲测)

几个常用scrapy命令

• 几个scrapy命名
  • 输入 scrapy -h 则会出现相关提示,所有也不用记命令
  • 根据这条命令可以知道scrapy的基本用法
    scrapy <command> [options] [args]
    
  • scrapy startproject project_name 则会在当前目录下创建一个项目
    
  • cd到项目文件夹
    • scrapy genspider spider baidu.com可以帮助创建一个新的名为spider的爬虫
    • scrapy crawl spider则会运行spider这个爬虫