Scrapy框架的基本使用

安装

pip install scrapy

基础使用

1. 创建一个工程：scrapy startproject

Scrapy框架的基本使用

 

2. 在工程目录下创建一个爬虫文件

cd 工程

scrapy genspider 爬虫文件的名称 起始url

3.  对应的文件中编写爬虫程序来完成爬虫的相关操作

4. 配置文件的编写（settings）

USER_AGENT：伪装身份用的

ROBOTSTXT_OBEY：默认是True，改成False。True会严格遵从门户网站的robot协议

5. 执行

相关文章：

  • 2021-12-31
  • 2021-07-27
  • 2021-11-16
  • 2021-11-20
  • 2022-12-23
  • 2021-08-23
  • 2021-06-17
猜你喜欢
  • 2021-10-01
  • 2021-10-29
  • 2022-01-05
  • 2022-12-23
  • 2021-12-12
  • 2021-11-13
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode