在弹性搜索中存储令牌频率，而不是存储文本

Question

根据我阅读文档的理解，elasticsearch 的工作原理是计算词频 * 非多样化词频。它将文本转换为某种术语频率字典，其中还包括这些术语最常见的位置索引。

我想要做的不是存储文本，而是每行数据的词频。当我简单地上传全文时，搜索工作正常，但在具有 10 多万页文本的完整解决方案中效果不佳。如果文本内容不相关，只存储词频不是更有效吗？

编辑：数据的匿名性也很重要，因此我不希望将完整的句子和段落存储在外部。

Answer 1

出于您的目的，您可以在文本字段中为词频实现一个词向量。请阅读文档here。 然后，您可以对 termvector 使用批量查询，即 mtermvector-doc here 和 python api doc。它适用于 id 列表。例如，如果您有一个与“sky”匹配的文档的所有 id 的列表，则可以这样进行：

from elasticsearch import Elasticsearch

es = Elasticsearch()

index = "abc"
my_doc_type ="your_doc_type"
ids = []

result = es.search(index="abc", doc_type= my_doc_type body={"query": {"term": {"my_field":  "sky"}}})     

for res in in result['hits']['hits']:
    ids.append(res['ids'])




for doc in es.mtermvectors(index=index,doc_type=doc_type,body=dict(ids=ids,parameters=dict(term_statistics=True,field_statistics=True,fields=fields)))['docs']:                                                                                                                                                            
    fields = doc['term_vectors']  
    terms = field['terms']  
    tf = vec["term_freq"]
    df =  vec["doc_freq"]