是否有包含索引机器人的搜索引擎，可以通过为机器人提供某些属性来组成特殊目录？

Question

我们的应用程序 (C#/.NET) 需要大量查询来搜索。谷歌每天 50,000 的政策是不够的。我们需要能够通过我们设置的特定规则（例如国家域）抓取互联网网站并收集 URL、文本、关键字、网站名称并创建我们自己的内部目录的东西，这样我们就不会局限于任何大型外部搜索引擎像谷歌或雅虎。

是否有任何免费的开源解决方案可以用来将其安装在我们的服务器上？

重新发明轮子没有意义。

Answer 1

DataparkSearch 可能是您需要的。或查看其他开源搜索引擎的 this list。