【问题标题】:Search and aggregate in 6000 row csv/json document在 6000 行 csv/json 文档中搜索和聚合
【发布时间】:2017-02-10 14:21:34
【问题描述】:

我正在为文档中的全文搜索寻找一个好的解决方案。 6000 行,每行 6 列。

我目前已经尝试过 Meteor 和 MongoDB,但是在进行聚合时我在 CPU 上有点挣扎,而且发布/订阅的响应时间很慢。

我需要搜索多个单词,并对一个数字字段求和/聚合。

为了快速简便的设置,哪些技术值得研究?

【问题讨论】:

    标签: json database csv search


    【解决方案1】:

    Meteor pub/sub 不适合一次发送大型数据集。它是为数据的反应式更新而设计的(在数据更改时自动更新)。

    在最佳条件下,这些数据通过延迟加载、使用限制以小块的形式发送到客户端,并按需完成。

    然而,Mongoldb 本身很适合在大型数据集中进行搜索!您可以搜索该主题。

    谷歌搜索“mongodb search in large data set”的第一个结果返回了这些文章:

    https://www.mongodb.com/big-data-explained

    http://johnpwood.net/2011/05/31/fast-queries-on-large-datasets-using-mongodb-and-summary-documents/

    这可能是一个起点。

    然后您可以尝试在流星的服务器端坚持您的搜索/聚合,并仅将您的结果返回给客户端(使用延迟加载机制)。

    关于您的 CPU 负载,您还可以考虑第一篇文章和解决方法“贪婪查询”:

    https://docs.mongodb.com/manual/core/query-optimization/

    【讨论】:

      猜你喜欢
      • 2021-06-04
      • 1970-01-01
      • 2020-08-25
      • 2017-11-26
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-07-22
      • 1970-01-01
      相关资源
      最近更新 更多