scrapy-08 scrapy部署与监控 | 爬虫

# scrapy远程监控
# scrapyd
# 1.安装
    pip install scrapyd # 服务端
    pip install scrapyd-client # 客户端
# 2.启动scrapyd服务
    sudo scrapyd
# 3.配置项目
    # 编辑scrapy.cfg文件
    [deploy:部署名]
    url = http://localhost:6800/
    project = 项目名
# 4.部署项目到scrapyd
    scrapyd-deploy 部署名称 -p 项目名称  # 在项目目录中执行
# 5.启动项目
    curl http://localhost:6800/schedule.json -d project=project_name -d spider=spider_name
# 6.关闭爬虫
    curl http://localhost:6800/cancel -d project=project_name -d job=jobid