根据是否已经看到过滤链接

Question

我正在构建一个简单的网络爬虫，并且我正在尝试根据之前是否看过链接来过滤链接。问题是链接可能是相同的，但带有正斜杠和参数。我也想过滤掉邮件。有没有已知的，直接的做法？我目前在 pHp 工作。

编辑： 在查看此内容后，我使用 Net_URL2.php 对 URL 进行了规范化： How do I apply URL normalization rules in PHP?

Answer 1

简短的回答是否定的，没有直接的方法可以做到这一点。阅读this article about URL normalization，找出难以实现的一些原因。