Robot.txt的使用[关闭]

Question

我为什么要在我的网站上使用 Robot.txt 文件。我知道怎么用，我想知道为什么用它？

Answer 1

当然你可以在谷歌上做更多的研究来找到答案，但作为一个例子：

想象一下，Google 会找到您在线发布的新网站，并扫描您的所有网页以在其搜索索引中发布。您可能不希望 google 发布每个页面（例如子页面），因为您不希望用户直接从 google 访问它，而是通过主入口页面访问它。