【发布时间】：2010-10-31 22:01:27
【问题描述】：
我想创建一个简单的搜索引擎用于学习目的。
我想知道如何索引一个简单的博客网站。
一个博客网站有很多页面，每个页面都有一篇博文。 但在每个页面中也有其他共同点（页眉、页脚、类别块和其他内容）。
在您看来，我怎样才能索引这个博客？
程序语言显然无关紧要。
【问题讨论】：
-
你为什么要索引它而不是另一个页面？据我所知，Google 会单独对待每个网站，不会识别或关心这些网站是否属于同一个域。
-
请更具体地提出问题。这是一个完整的研究领域，你在说什么。
标签： php python search search-engine web-crawler