像搜索引擎一样只获取网站详细信息

Question

我必须像搜索引擎一样获取网站详细信息。我需要网站的描述、链接和一些关于它们的信息，并将其存储在我的数据库中。是否有任何图书馆可用于执行此操作？请记住，我可以抓取整个网页，但我只需要搜索引擎抓取格式的信息。

谢谢，
卡提克

Answer 1

什么语言？存在用于读取网页内容的 API 和绑定。如果您想创建一个新的“搜索引擎”，您是否意识到任务的规模？你的问题太笼统了，除了：

尊重 robots.txt

不要用请求敲击服务器，你很快就会被明智的系统管理员阻止你的 IP。