【发布时间】:2017-02-10 14:21:34
【问题描述】:
我正在为文档中的全文搜索寻找一个好的解决方案。 6000 行,每行 6 列。
我目前已经尝试过 Meteor 和 MongoDB,但是在进行聚合时我在 CPU 上有点挣扎,而且发布/订阅的响应时间很慢。
我需要搜索多个单词,并对一个数字字段求和/聚合。
为了快速简便的设置,哪些技术值得研究?
【问题讨论】:
我正在为文档中的全文搜索寻找一个好的解决方案。 6000 行,每行 6 列。
我目前已经尝试过 Meteor 和 MongoDB,但是在进行聚合时我在 CPU 上有点挣扎,而且发布/订阅的响应时间很慢。
我需要搜索多个单词,并对一个数字字段求和/聚合。
为了快速简便的设置,哪些技术值得研究?
【问题讨论】:
Meteor pub/sub 不适合一次发送大型数据集。它是为数据的反应式更新而设计的(在数据更改时自动更新)。
在最佳条件下,这些数据通过延迟加载、使用限制以小块的形式发送到客户端,并按需完成。
然而,Mongoldb 本身很适合在大型数据集中进行搜索!您可以搜索该主题。
谷歌搜索“mongodb search in large data set”的第一个结果返回了这些文章:
https://www.mongodb.com/big-data-explained
http://johnpwood.net/2011/05/31/fast-queries-on-large-datasets-using-mongodb-and-summary-documents/
这可能是一个起点。
然后您可以尝试在流星的服务器端坚持您的搜索/聚合,并仅将您的结果返回给客户端(使用延迟加载机制)。
关于您的 CPU 负载,您还可以考虑第一篇文章和解决方法“贪婪查询”:
【讨论】: