如何获取特定站点内的所有页面链接？

【问题标题】：how to get all the page links within a specific site?如何获取特定站点内的所有页面链接？
【发布时间】：2011-12-12 05:34:17
【问题描述】：

我想在 php 中编程以获取我网站中的所有页面链接，因为我想检查我网站的每个页面的 pagerank，是否有工具或库或在 php 中实现的算法来获取所有页面特定网站的链接？

【问题讨论】：

听起来您在描述 Google 抓取工具。
stackoverflow.com/questions/5919760/…
这个stackoverflow.com/questions/361285/… 可能对你有用。

标签： php web-crawler

【解决方案1】：

你可以试试这个：

<?php
  $original_file = file_get_contents("http://www.your_domain.com/page");
  $stripped_file = strip_tags($original_file, "<a>");
  preg_match_all("/<a(?:[^>]*)href=\"([^\"]*)\"(?:[^>]*)>(?:[^<]*)<\/a>/is", $stripped_file, $matches);
?>

$matches[0] 将包含完整的 A 标签；例如：<a href="link">text</a>

$matches[1] 将只包含 A 标签中的 HREF；例如：link

我希望这会对你有所帮助。问候！

【讨论】：