【发布时间】:2015-04-03 13:31:59
【问题描述】:
我正在用 php 编写一个网络爬虫。给定一个当前 URL,以及一组指向绝对 URL、相对 URL 和根 URL 的链接,我将如何确定每个链接的完全限定 URL?
例如,假设我正在抓取 URL:
http://www.example.com/path/to/my/file.html
网页包含的链接数组是:
array(
'http://www.some-other-domain.com/',
'../../',
'/search',
);
如何确定每个链接的完全限定 URL?我在这个例子中寻找的结果分别是:
http://www.some-other-domain.com/
http://www.example.com/path/
http://www.example.com/search/
【问题讨论】:
-
不要忘记您可能还需要考虑其他一些因素——比如 f.e. HTML 文档中的
<base href="…">。这并不像您想象的那么简单(从您的问题看来,您一开始并没有想那么难……)