分析搜索引擎可以发现它主要由三部分组成：爬行器，索引器和用户界面。爬行器在互联网中漫游和收集新的网页内容并将它们排序供索引器使用。在大型搜索引擎中，爬行器会下载这些网页并在它们中间检索超链接以缓存更多页面。索引器则按次序输入网页内容，分析这些信息，最后生成可搜索的索引。搜索引擎的用户界面则负责接收用户输入的查询，检索索引并把查询结果返回给用户。该程序实现的最困难也在于具体的技术细节。
目前，在搜索引擎领域中根据相关度判断来创建一个高效的索引或者评级结果的最优算法仍被视为商业秘密严加保守，开发这些算法的程序员都获得了丰厚的回报。
Mysql数据库中提供的全文检索功能是构建一个功能较弱的搜索引擎有了可能，但是这种方法有一些缺陷。使用MySQL全文检索功能进行开发存在着缺陷。在Mysql中，全文检索只能和Myisam引擎一起使用，这个引擎不能像InnoDB一样支持外键和行级锁。