计算站点中的页面数答案

【问题标题】：Count the number of pages in a site计算站点中的页面数
【发布时间】：2011-02-09 14:08:32
【问题描述】：

我想知道一个站点中有多少公共页面，例如，smaskingmagzine.com。有没有办法计算页数？

【问题讨论】：

【解决方案1】：

您可以使用 site 运算符查询 Google 的索引。例如：

site:domain-to-query.com

这将返回网站中当前被 Google 索引的页面列表。其他搜索引擎也提供类似的功能，但我不知道语法。

当然不是所有页面都可以被索引，索引中可能包含不再存在的页面。

【讨论】：

【解决方案2】：

您基本上需要抓取该网站。你的过程会是这样的：

当没有更多指向同一域的要抓取的链接时，您的循环将终止。请记住留在网站中，否则您将开始抓取外部网站。

如果他们提供了站点地图，您也可以尝试解析。

如果使用 Java，可能会被证明有用的一个工具是 PHP 中的 JSpider 或 Sphider。

【讨论】：

【解决方案3】：

您需要递归地扫描每个页面的标记，从您的顶级页面开始，寻找到其他页面的任何类型的链接，然后递归地浏览它们。您还需要跟踪已扫描的内容，以免陷入无限循环。

【讨论】：