词云的 MemSQL 表设计

Question

我正在通过将推文存储到 memsql 中的表中来处理推特提要。该表具有 tweet_id、posted_time、body 等字段...

该表每天包含大约 500 万条推文。到目前为止，整个期间总共存储了 10 亿条推文

表存储为列存储，tweet_id 作为分片键，posted_time 作为列存储集群列。

到目前为止，它适用于所有实时分析，并且如果您查询一天，它会在亚秒内返回答案。日期过滤器越宽，查询越慢

要求是从推文的正文字段生成词云。我的问题是；最好的方法是什么？我需要高效的查询（需要几秒钟而不是几分钟） 请记住以下几点

• 对于这个大表，联接效率不高。
• 将 body 字段用于几百万条推文并将其分解 对单词进行聚合，然后得出最上面的单词效率不高。

我相信需要一张单独的桌子，这张桌子的设计是什么？请提出建议

最后，我的 MemSQL 集群有 5 个节点，总共 1 TB 的 RAM，和 192 个内核

Answer 1

我不认为 MemSQL 是最好的方法。最好的办法是使用 Apache Solr 之类的搜索服务器/库对其进行索引，或者仅使用 Apache Lucene 作为后端。这样一来，词云所需的查询，例如“给我所有按计数排序的排名靠前的 n 词的计数”将在几秒钟内返回。