【发布时间】：2013-10-15 08:50:10
【问题描述】：
我一直在使用我的 robots.txt 文件来排除某些网页在我的网站上被抓取和发现。
我发现有几个旧页面（现已从服务器中删除）仍然可以通过搜索引擎找到。
问）我需要在服务器上重新创建页面，以便我可以使用 robots.txt 吗？
【问题讨论】：
【发布时间】：2013-10-15 08:50:10
【问题描述】：
不，您无需重新创建页面即可在 robots.txt 中提及它。也就是说，您可以：
User-Agent: *
Disallow: /foo/bar.html
/foo/bar.html 是否真的存在并不重要。礼貌的机器人不会尝试访问该页面。
请注意，如果浏览器从搜索引擎获取链接，它不会阻止浏览器尝试访问该页面。
从搜索引擎的索引中删除旧页面是一个更困难的问题。如果他们重新抓取您的网站，那么他们可能会用您的新布局替换他们的快照，并且该页面将不再出现。但是，如果他们从其他网站找到指向您的旧页面的链接，他们可能仍会在其索引中列出已删除的页面。这取决于搜索引擎。
对于较大的搜索引擎，您可以提交删除请求。具体如何完成取决于各个站点。
【讨论】：