robots.txt 和 seo 排名答案

【问题标题】：robots.txt and seo rankingrobots.txt 和 seo 排名
【发布时间】：2010-02-24 14:25:41
【问题描述】：

有什么意义只有一行内容的 robots.txt，如下所示

用户代理：*

与根本没有相比？

【问题讨论】：

标签： ranking

【解决方案1】：

没有；这样做没有意义。

【讨论】：

【解决方案2】：

不，Google（我们不要拐弯抹角，Google 是您应该关心的搜索引擎）默认情况下会抓取所有内容，除非您告诉它不要这样做。

如果您想帮助 Google，请使用 google 网站管理员工具并以正确的格式提交站点地图

【讨论】：

谷歌爬虫会避免 http:404。我想知道这是否意味着我的网站更可靠。
谷歌网站管理员工具将识别它遇到的 404 页面，允许您修复它们或设置 301 重定向，无论如何您都应该这样做。反过来，这将使您的网站更可靠，并且更加小心:)
-1 Google 仅（大约）占所有搜索引擎使用量的 66%。所以你的建议是 OP 只是无视他 33% 的可能客户群？对我来说，这听起来是个糟糕的决定。
66% 在哪里？！谷歌负责大约 98% 的搜索（无论如何，在英国，2007 年大约是 90%）。无论如何，对于任何搜索引擎来说，这一点都是正确的，OP 的建议是毫无意义的。什么其他搜索引擎也提供像谷歌这样的网站管理员工具。恕我直言，担心谷歌以外的搜索引擎是浪费时间，因为你为谷歌所做的任何事情都可能使其他搜索引擎受益
大声笑。谷歌在搜索引擎市场占有巨大份额。如果排除中国，那么尼克是正确的。 amischiefr 是完全错误的。