scrapy 框架的安装与启动

scrapy 框架的安装

安装的详细过程：https://cuiqingcai.com/5421.html

Windows平台

如果 pip3 install scrapy 安装不上，则执行下列步骤安装

    1、pip3 install wheel #安装后，便支持通过wheel文件安装软件，wheel文件官网：https://www.lfd.uci.edu/~gohlke/pythonlibs
    3、pip3 install lxml
    4、pip3 install pyopenssl
    5、下载并安装pywin32：https://sourceforge.net/projects/pywin32/files/pywin32/
    6、下载twisted的wheel文件：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
    7、执行pip3 install 下载目录\Twisted-17.9.0-cp36-cp36m-win_amd64.whl
    8、pip3 install scrapy

mac、Linux平台

pip3 install scrapy

注意：安装完成后，python的scripts文件夹中会有scrapy可执行文件

启动程序与爬虫

创建scrapy项目：

scrapy startproject 项目名   (django创建项目)

创建爬虫：

scrapy genspider 爬虫名 要爬取的网站地址   # 可以创建多个爬虫

启动爬虫:

命令行启动

scrapy crawl 爬虫名字
scrapy crawl 爬虫名字 --nolog

scrapy在pycharm配置启动(无需命令行启动)

# 在项目路径下创建一个run.py（名字随意）,右键执行即可
from scrapy.cmdline import execute
# execute(['scrapy','crawl','爬虫名','--nolog'])
execute(['scrapy','crawl','爬虫名'])