爬虫种子列表包含什么？

Question

我一直在阅读有关如何实现爬虫的文章。 我知道我们从要访问的 URL 列表（种子列表）开始。 访问所有这些 URL 并将访问页面中的所有链接添加到列表（边界）。 那么我应该在这个种子列表中添加多少？我是否只需要添加尽可能多的 URL，并希望它们能让我访问 www 上的 URL，这是否真的保证我会在那里获得所有其他 URL？ 或者有一些惯例可以做到这一点？我的意思是......像谷歌这样的搜索引擎是做什么的？

Answer 1

基本上是这样，他们使用它们之间的连接（链接）制作了一个很大的网站列表。您的搜索引擎知道的网站越多越好。这里唯一的问题是能够使这个列表有用。也就是说，网站可能性的大列表并不意味着搜索结果集很好，因此您必须能够分辨出每个网页中的重要内容。

但根据你的信息处理能力，没有必要停在某个地方。

这并不能确保你会到达那里的每一个网址，但它基本上是抓取网络的唯一实用方法。