关于搜索引擎抓取我应该知道什么？

Question

我不是指 SEO 的事情。我应该知道什么。比如

1. 引擎是否运行javascript？
2. 他们使用 cookie 吗？
3. cookie 是否会跨越抓取会话（比如今天的 cookie 和下周或下个月的抓取）。
4. 是否因为任何原因未加载选定的 JS 过滤器？ （例如出于优化原因而忽略的可疑广告？）

我不想让所有索引页面意外地显示某种错误或警告消息，例如请打开您的 cookie、不支持浏览器或没有被索引，因为我做了一些愚蠢的事情，例如让我的站点地图指向 @ 987654321@ 并且没有索引，因为它是一个重定向（但是我会使用 301）。

Answer 1

从这里：http://www.google.com/support/webmasters/bin/answer.py?answer=35769

使用文本浏览器（例如 Lynx）检查您的网站，因为大多数搜索引擎蜘蛛看到您的网站的方式与 Lynx 一样。如果 JavaScript、cookie、会话 ID、框架、DHTML 或 Flash 等花哨的功能使您无法在文本浏览器中查看您的所有网站，那么搜索引擎蜘蛛可能无法抓取您的网站。

阅读Google's Webmaster guidelines