禁止所有搜索爬虫访问网站指定目录robots.txt

禁止所有搜索爬虫访问网站指定目录

用自己私人的服务器来测试吧，99买阿里云

文件放置不让爬取的网站文件夹目录里

robots.txt

User-agent: *
Disallow: /

User-Agent值可改为：

搜索引擎	User-Agent值
Google	googlebot
百度	baiduspider
雅虎	slurp
MSN	msnbot
Alexa	is_archiver

相关文章：

2021-11-03
2021-05-12
2021-11-02
2021-11-01
2021-11-28
2021-11-03
2021-09-17

猜你喜欢

2021-10-12
2021-10-12
2021-11-13
2021-11-13
2021-11-28
2021-05-01
2021-11-16

相关资源

下载 2023-03-08
下载 2022-12-25
下载 2023-02-04

相似解决方案

热门标签

Java Python linux javascript Mysql C# Docker 算法前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库数据结构大数据 js 机器学习微服务 Android Go 程序员面试 JVM ASP.net core 云原生人工智能后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习多线程 React 架构 devops 爬虫云计算 Spring Boot LeetCode