我可以告诉网站爬虫访问某个页面吗？答案

【问题标题】：Can I tell sitecrawlers to visit a certain page?我可以告诉网站爬虫访问某个页面吗？
【发布时间】：2011-03-03 12:54:16
【问题描述】：

我有一个围绕文档数据库的drupal 网站。按照设计，您只能通过搜索站点来找到这些文档。但是我希望所有结果都被 Googlebot 和其他爬虫索引，所以我在想，如果我创建一个列出所有文档的页面，然后告诉机器人访问该页面以索引我的所有文档..？

这可能吗，或者有更好的方法吗？

【问题讨论】：

标签： drupal indexing seo robots.txt

【解决方案1】：

也许是Sitemap

Google 推出了 Google 站点地图，以便网络开发人员可以发布来自其网站的链接列表。基本前提是一些站点有大量的动态页面，这些页面只能通过使用表单和用户条目来获得。然后，站点地图文件可用于向网络爬虫指示如何找到此类页面。 Google、Bing、Yahoo 和 Ask 现在共同支持 Sitemaps 协议。

【讨论】：

【解决方案2】：

Create a XML sitemap and submit it to Google。其他搜索引擎也支持这一点。

【讨论】：

【解决方案3】：

您应该制作一个 XML 站点地图。 Drupal 中有一个名为 XML sitemap 的模块（它被超过 42.000 个 Drupal 站点使用）：

来自模块：

XML 站点地图模块创建一个符合 sitemaps.org 规范的站点地图。这有助于搜索引擎更智能地抓取网站并使其结果保持最新。该模块创建的站点地图可以自动提交给 Ask、Google、Bing（以前的 Windows Live Search）和 Yahoo!搜索引擎。该模块还带有几个子模块，可以为内容、菜单项、分类术语和用户配置文件添加站点地图链接。

【讨论】：

【解决方案4】：

事实上，您可能对此感兴趣的drupal sitemap builder plugin..

【讨论】：