使用“noindex”达到 GSA 限制

【问题标题】：GSA limit reached with "noindex"使用“noindex”达到 GSA 限制
【发布时间】：2016-11-01 15:54:34
【问题描述】：

最近，我管理的 GSA 达到了被索引的 URL 的限制，我看到与页面列表的数量相比，具有实际内容的 URL 总数非常低（主要是按日期，不是内容，而是仅显示结果供用户导航）。

我已经添加了带有“noindex”属性的机器人元标记，并且许多 URL 显示为“已排除”：

所以我假设这些文档不计入许可总数，但如果没有这个数量，我抓取的 URL 不可能达到 500K 的限制。

我的另一个猜测是，拥有多个集合会使文档计入总数，即使有时文档在几个集合中是重复的。

有没有其他人遇到过类似的问题？

【问题讨论】：

【解决方案1】：

您是否收到超出索引的警告？在您的许可范围内，GSA 将抓取多少个 URL 是有限制的，但您的许可中应该能够拥有大约 100 万个文档（在 CRAWLED/ERRORS/EXCLUDED 之间）。 “抓取的 URL”中只能有 500K。

【讨论】：

是的，警告是：“匹配模式的 URL 数量超过了当前的许可限制。一旦索引 URL 的总数（服务的总文档数），文档将开始从索引中删除Content Sources > Diagnostics > Crawl Status 页面）也超过了许可限制。请安装更大的许可证以允许对更多文档进行索引，或者减少模式以减少索引文档的数量。”每次访问 GSA 控制台时都会显示为红色。
线索在消息中：“文档将开始从索引中删除一旦索引 URL 的总数也超过许可限制”您无需担心直到该值接近您的许可限制并且可以安全地忽略您在此之前看到的警告。