使用python从elasticsearch中获取数据表可视化

Question

如何通过python对弹性搜索中的数据进行过滤和汇总。我通过 Kibana 界面手动创建了一个数据表可视化，并以 .csv 格式下载。现在我想用 python 做同样的事情。

例如，如果索引中有10个变量：v1,v2,v3,.. v10，那么如何得到一个数据表，可以用sql描述为：

select v2, count(v2) 
from index 
where v1 = "some value" 
group by v2 

到目前为止，我能够做到这一点：

from elasticsearch5 import Elasticsearch
user = 'xxx'
password = 'xxx'
url = 'xxx'
command = "%s:%s@%s:9200" % (user,password,url)
x = Elasticsearch(command)
# Get the count of documents
num = x.count(index='my_index')['count']
# Get documents filtered by v1
my_docs = x.search(index="my_index",  body={"query": {"match": {'v1':'US'}}})

现在我想要的是从 my_docs 中仅选择变量 v2 并按 v2 分组以获取计数。抱歉，我不知道如何在不泄露用户凭据的情况下创建可重现的示例。

Answer 1

• 首先：我不想下载完整的文档（每个文档在 实际数据包含 150 多个变量）。

如果您只想处理文档中的几个字段，则应在查询前使用_source filter - doc here。例如，仅从您的文档中检索 v1 和 v2 字段：

body={
    "_source": ["v1", "v2"],"query": {"match": {'v1':'US'}}}

• 第二：我对json还不熟悉，虽然我正在研究它。

你只需尝试这样的事情：

for result in mydocs['hits']['hits']:
    print result["_source"]['v1']
    print result["_source"]['v2']