scrapy爬取网页出现一部分503的解决办法

在没改代码前

settings.py里面爬取间隔设置的是

DOWNLOAD_DELAY = 0  有一次是  DOWNLOAD_DELAY = 0.5,但都出现了以下情况

scrapy爬取网页出现一部分503的解决办法

将速度改慢一点，DOWNLOAD_DELAY = 1

最后成功啦！！

ps（可能是网慢吧，也不一定是某网页对爬虫的检查严厉）

成功图片：

scrapy爬取网页出现一部分503的解决办法

相关文章：

2022-12-23
2021-05-05
2021-11-09
2021-11-17
2021-07-14
2022-12-23
2021-04-15
2021-10-11

猜你喜欢

2021-08-27
2022-12-23
2022-12-23
2021-08-16
2021-11-30
2022-12-23

相关资源

下载 2022-12-30
下载 2023-01-08
下载 2022-12-13

相似解决方案

热门标签

Java Python linux javascript Mysql C# Docker 算法前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库数据结构大数据 js 机器学习微服务 Android Go 程序员面试 JVM ASP.net core 云原生人工智能后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习多线程 React 架构 devops 爬虫云计算 Spring Boot LeetCode