php 网络蜘蛛。如何将带有哈希的网址识别为同一页面？

Question

我有一个函数：

public function getHeaders($url){
        $ch = curl_init();

        curl_setopt($ch, CURLOPT_URL,            $url);
        curl_setopt($ch, CURLOPT_HEADER,         true);
        curl_setopt($ch, CURLOPT_NOBODY,         true);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
        curl_setopt($ch, CURLOPT_TIMEOUT,        10);
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);
        $x = curl_exec($ch);

        curl_close($ch);
        return (array) HTTP::parse_header_string($x) ;
    }

当$url=http://www.google.com', i have header location:http://www.google.de/?gfe_rd=cr&ei=SOMEHASHGOESHERE` 再次加载它并得到相同的结果，但是现在“SOMEHASHGOESHERE”是另一个。

我的任务是开发网络爬虫。我知道如何做它的基本逻辑。但几乎没有细微差别。其中之一是：如果请求的 url 发送到它的标题“位置”并尝试重定向，我的蜘蛛必须做什么？什么行为模型必须控制我的蜘蛛不可能将其放入无限重定向循环？

（如何识别像http://www.google.de/?gfe_rd=cr&ei=SOMEHASHGOESHERE 这样通常用于循环重定向的类似网址，并让我的蜘蛛理解忽略此类链接）

Answer 1

如果您尝试只处理所有重定向的目标，您可以让 curl 跟随 url 而无需返回重定向页面。

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);

如果您只对没有 url 参数的基本 url 感兴趣，您可以使用 explode 轻松获得它：

$urlParts = explode("?",$url);
$baseUrl = $urlParts[0];