【发布时间】：2019-02-26 01:17:51
【问题描述】：
如何在你的 PHP 文件中防止网络爬虫？
【问题讨论】：
-
网络爬虫看不到你的 PHP
-
如何知道自己是否被抓取？
-
你会先检查你的access.log。
标签： php web-crawler
【发布时间】：2019-02-26 01:17:51
【问题描述】：
在下面创建一个robots.txt 并将其放在您网站的根文件夹中。
它会告诉所有User-agent 不要抓取任何 PHP 文件 (Disallow: /*.php$)
Robots.txt 内容：
User-agent: *
Disallow: /*.php$
【讨论】：
-
虽然这只是礼貌地要求他们不要这样做。如果他们选择忽略您的意愿，这实际上并不能阻止他们这样做。