站点地图是否应该有 *every* url

Question

我有一个网站，其中包含大量（嗯，数千或数万个）动态 URL，以及一些静态 URL。

理论上，由于主页上有一些狡猾的 SEO 链接，任何蜘蛛都应该可以抓取网站并通过蜘蛛友好的搜索发现所有动态 url。

鉴于此，我真的需要担心花费精力来生成包含所有这些 URL 的动态站点地图索引，还是应该简单地确保所有主要的静态 URL 都在其中？

我不会担心生成它的实际方式 - 我只是质疑实际执行它的必要性。

确实，Google 常见问题解答（是的，我知道它们不是唯一的搜索引擎！）对此建议在站点地图中包含可能无法通过抓取发现的 URL；基于这个事实，那么，如果您网站中的每个 URL 都可以从另一个 URL 访问，那么对于精心设计的网站，您真正需要作为站点地图基线的唯一 URL 就是您的主页？

Answer 1

如果访问页面的方式不止一种，您应该为每个包含实际内容的页面选择一个主 URL，并将这些 URL 放入站点地图中。 IE。站点地图应包含指向实际内容的链接，而不是指向相同内容的每个可能的 URL。

还可以考虑在带有此主 URL 的页面中放置规范元标记，以便蜘蛛可以识别页面，即使它可以通过不同的动态 URL 访问。

蜘蛛只在有限的时间内搜索每个站点，因此您应该尽可能轻松地找到实际内容。站点地图可以提供很大帮助，因为您可以使用它直接指向实际内容，这样蜘蛛就不必寻找它。

使用这些方法我们取得了相当不错的结果，Google 现在索引了我们 80-90% 的动态内容。 :)

Answer 2

在一个 SO 播客中，他们谈到了您可以在站点地图中包含/提交的链接数量的限制（每页大约 500 个，基于 pagerank 的页面限制？）以及您需要如何将它们分解到多个页面。

鉴于此，我真的需要担心吗？ 关于付出努力去生产 一个动态站点地图索引，包括 所有这些网址，或者我应该简单地 确保所有主要的静态 URL 在里面吗？

我的印象是站点地图不一定是关于断开连接的页面，而是关于增加对现有页面的抓取。根据我的经验，当一个站点包含站点地图时，即使显着链接到的次要页面也更有可能出现在 Google 结果中。根据您网站的页面排名/入站链接等，这可能不是问题。