站点地图生成策略答案

【问题标题】：sitemap generation strategy站点地图生成策略
【发布时间】：2010-01-03 12:24:20
【问题描述】：

我有一个巨大的网站，有超过 500 万个网址。

我们的 pagerank 已经达到 7/10。问题在于，由于有 500 万个 url，并且因为我们每天添加/删除新的 url（我们添加 ± 900，我们删除 ± 300），谷歌的速度不足以索引所有这些。我们有一个巨大而强大的 perl 模块来生成这个通常由 6 个站点地图文件组成的站点地图。可以肯定的是，谷歌的速度不足以添加所有网址，特别是因为通常我们每天都会重新创建所有这些站点地图并提交给谷歌。我的问题是：什么应该是更好的方法？即使我知道谷歌无法处理，我真的应该每天向谷歌发送 500 万个网址吗？或者我应该只发送不会改变的永久链接，谷歌爬虫会找到其余的，但至少我会在谷歌有一个简明的索引（今天我从 5.000.000 个网址索引中只有不到 200 个）

【问题讨论】：

好吧，如果你每天删除这么多网址.. 为什么要谷歌索引它？

标签： seo sitemap

【解决方案1】：

立即删除大量已编入索引的网站有什么意义？临时页面在处理后对搜索引擎及其用户毫无价值。所以我会去让搜索引擎爬虫决定一个页面是否值得索引。只需告诉他们将保留的 URL……并实现一些列表页面（如果还没有的话），这样可以更轻松地抓取您的页面。

注意以下：500 万个 URL 的 6 个站点地图文件？ AFAIK，站点地图文件不能包含超过 50k 的 URL。

【讨论】：

你把它分成一个站点地图索引，指向 N 个文件，每个文件有 50k 个 URL
谁说页面会立即被删除？考虑具有 7 天生命周期的 eBay 拍卖物品 - 让这些物品可被搜索引擎索引是不是一个坏主意？
@Lars 没错，但 AFAIK eBay 不会在拍卖结束后立即删除拍卖页面（至少它们会保留更长的时间）。在搜索引擎中单击 ebay 结果时，我从未遇到过 404。
在我的情况下，它是一个求职网站。 “工作机会”的 TTL 为 1-9 周。我认为我的问题可以与 ebay 或 odesk 等网站进行比较。他们是否在站点地图中添加了“短期优惠”？正如我所见，odesk 做到了odesk.com/sitemap.xml
啊，好吧，9 周是不同的，但我永远不会包括 1 周。但是，如果您确切知道一个页面将存在多长时间，您可能只包括那些持续时间超过 4 周的页面？其余的，可抓取的分销商页面就足够了。使用 PR 7，爬虫肯定会在很短的时间间隔内爬取您的页面。

【解决方案2】：

当 URL 发生变化时，您应该注意您是否可以在 301 状态（永久重定向）下正常工作。

编辑（细化）：您仍然应该尝试让您的 URL 模式变得稳定。可以使用 301 进行重定向，但是维护很多重定向规则比较麻烦。

【讨论】：

【解决方案3】：

您为什么不每次都将您的站点地图与之前的站点地图进行比较，然后只将更改的 URL 发送给 Google！

【讨论】：

我已经这样做了。问题是我们必须同时删除 url。
我原以为谷歌会足够聪明，如果您向它们发送不再存在的 URL，它会删除它们。
每个站点地图项目都应该包含一个 lastmod 时间戳，所以我不明白为什么 Google 会在过滤掉自上次站点地图被索引以来没有更改的那些项目时遇到问题。
在我看来，最初的反对意见似乎是提交给 google 的 URL 列表的大小，不是吗？也许实际上根本没有问题。