如何在 PHP 中构建搜索引擎来搜索多个站点的实时内容？

Question

我是一个相对新手程序员，对 PHP 有很好的理解，但更多的是阅读、理解和复制我需要的部分，而不是从头开始开发。

我有一个包含 1000 多个 URL 的列表，我想搜索。我想根据需要在这些页面中搜索内容，并仅返回包含我提供的文本查询的结果。我将 Google 自定义搜索引擎视为一个简单的选择，它运行良好，但限制了我可以添加的页面数量。

我研究了 cURL，但似乎没有提供我正在寻找的东西，除非我遗漏了什么？

或者还有其他免费且易于使用的选项，例如 Google CSE？

Answer 1

您可以为需要的页面编写爬虫，并使用 Sphinx 引擎(http://sphinxsearch.com/) 进行页面搜索。在我看来，应该写一个带有HTTP扩展的爬虫比纯cURL lib更好。