阻止网络蜘蛛

Question

我想阻止所有网络蜘蛛清理我的网站。

有办法吗？

我只发现了 2008 年的一些 Apache 规则（比如这个） http://perishablepress.com/ultimate-htaccess-blacklist/

Answer 1

不幸的是，没有办法阻止所有脚本访问您的网站：如果人类可以，那么没有什么能阻止任何人编写行为与人类相似并因此可以查看每个页面的蜘蛛。 您可以查找防止某些机器人访问您的网站的技术（您可以使用大多数搜索引擎来做到这一点），但如果它保持足够长的时间并获得一些访问，它很可能最终会出现在某个数据库中。

看看here。