【发布时间】:2009-08-22 17:28:08
【问题描述】:
这对某人来说应该很容易:
<noscript> 元素是否会导致 HTML 页面仅将 <noscript> 标记内的内容提供给 Google 爬虫,并隐藏我的所有其他静态内容,从而使其不被索引?
谢谢!
【问题讨论】:
标签: indexing seo noscript google-crawlers
这对某人来说应该很容易:
<noscript> 元素是否会导致 HTML 页面仅将 <noscript> 标记内的内容提供给 Google 爬虫,并隐藏我的所有其他静态内容,从而使其不被索引?
谢谢!
【问题讨论】:
标签: indexing seo noscript google-crawlers
没有。抓取工具将看到所有您的内容,包括 <noscript> 元素和其他任何地方。
爬虫的行为很像关闭了 JavaScript 的浏览器 - 它们看到所有静态内容以及 <noscript> 内容,但看不到任何依赖于 JavaScript 的内容。
【讨论】:
为响应 GET 请求提供整个 HTML 文件。 Google 应该尊重 robots.txt 而不是标有该文件的蜘蛛目录。
【讨论】: