ElasticSearch 读取所有唯一值

Question

我知道这个问题在这里被问了好几次。但我需要知道是否有可能获得 ES 中特定字段的 all 唯一值。

到目前为止我做了什么：

1. 请求字段的基数：

{ “大小”：0， “聚合”：{ “唯一计数”：{ “基数”：{ “字段”：“字段名称” } } } }

1. 从基数推导出分区数：total_partitions = unique_count / 10。

2. 请求每个分区的条款i：

{ “大小”：0， “聚合”：{ “价值条款”：{ “条款”：{ “字段”：“字段名称”， “包括”： { "分区": $i, “num_partitions”：$total_partitions } } } } }

正确吗？或者还有其他方法吗？

Answer 1

我们最终得到了elasticsearch-hadoop。它包含火花 一体化。我们以本地模式运行 Spark - 最简单的解决方案。

Answer 2

也许我在你的问题中遗漏了一些东西，但是一个简单的聚合应该会给你一个特定字段的所有唯一值以及相应的计数：

{
  "aggs": {
    "unique_values": {
      "terms": {
        "field": "fieldName",
        "size": 0
      }
    }
  }
}