关于我的网站中的孤立页面答案

【问题标题】：About Isolated Page In My Web Site关于我的网站中的孤立页面
【发布时间】：2009-10-20 07:04:13
【问题描述】：

我制作了一个页面，我无意让搜索引擎找到并抓取它。建议的解决方案是 robots.txt。但这不适用于我的情况。

因此，我通过清除从其他页面到该页面的所有链接，将该页面与我的站点隔离，并且从未将其 URL 放在外部站点中。

从逻辑上讲，搜索引擎不可能找到这个页面。这意味着无论该页面中嵌套了多少出站链接，都可以保存站点的PR。我对吗？

非常感谢！

希望这个问题与编程有关！

【问题讨论】：

robots.txt怎么不适用？
注意：是 robots.txt ，不是 robots.txt
谢谢，皮斯克沃尔。我的错！理查德 OD！感谢您的回复。原因很复杂。其中之一是我需要允许一些不起眼的搜索引擎爬到那个页面（我给了他们页面的 URL），以表明他们的链接存在于我的网站中。

【解决方案1】：

不，您的网页仍有可能被搜索引擎抓取工具找到。例如，据推测，来自 Google 工具栏的数据可用于提醒 Googlebot 存在页面。如果 URL 已知，其他人仍有可能从外部网站链接到您的页面。

最好的办法是在你的页面上添加一个robots meta tag，这将防止它被索引，并防止爬虫跟踪任何链接：

<meta name="robots" content="noindex,nofollow" />

【讨论】：

【解决方案2】：

如果它在互联网上并且不受限制，就会被找到。这可能会使它更难找到，但爬虫仍然可能会发生在它上面。

链接是什么，我可以检查一下吗？ ;)

【讨论】：

【解决方案3】：

如果您在此“孤立”页面上有出站链接，那么您的页面可能会在链接到页面的日志中显示为引荐来源网址。根据链接到页面的所有者跟踪他们的统计信息的程度，他们可能会找到您的页面。

我在 Google 搜索中看到了 httpd 日志文件。这反过来可能会导致其他人找到您的页面，包括爬虫和其他机器人。

最简单的解决方案可能是密码保护页面？

【讨论】：