获取所有时间 date_histogram 存储桶结果答案

【问题标题】：Fetch all time date_histogram buckets results获取所有时间 date_histogram 存储桶结果
【发布时间】：2020-03-22 21:23:05
【问题描述】：

我有以下查询来使用 Elasticsearch 7.1 获取聚合。

{ 
  "query": { 
    "bool": { 
      "filter": [ 
        { 
          "bool": { 
            "must": [ 
              { 
                "match": { 
                  "viewedInFeed": true
                } 
              }
            ] 
          } 
        } 
      ] 
    } 
  },
  "size": 0, 
  "aggs": { 
    "viewed_in_feed_by_day": { 
      "date_histogram": { 
        "field": "createdDate", 
        "interval" : "day",
        "format" : "yyyy-MM-dd",
        "min_doc_count": 1
      } 
    } 
  } 
}

结果大于 10,000，我不确定如何工作，因为 scroll 不可用于聚合。请参阅下面的回复。

{
    "took": 3,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 10000,
            "relation": "gte"
        },
        "max_score": null,
        "hits": []
    },
    "aggregations": {
        "viewed_in_feed_by_day": {
            "buckets": [
                {
                    "key_as_string": "2020-03-19",
                    "key": 1584576000000,
                    "doc_count": 3028
                },
                {
                    "key_as_string": "2020-03-20",
                    "key": 1584662400000,
                    "doc_count": 5384
                },
                {
                    "key_as_string": "2020-03-21",
                    "key": 1584748800000,
                    "doc_count": 3521
                }
            ]
        }
    }
}

当使用 _count 时，文档数大于 10,000，即使没有 "min_doc_count": 1 也不返回结果，我知道无论如何还有更多数据。

【问题讨论】：

"date_histogram" 按给定间隔对数据进行分组。如果您查看文档计数，则结果中的存储桶 {"key_as_string": "2020-03-19", "key": 1584576000000, "doc_count": 3028 } 显示 3028 个文档的日期为 "2020-03- 19" 那么返回的文件是否有可能只有 3 个日期
好的！我没有注意到文件的数量实际上总和大于 10,000。有点混乱。所以，我实际上可以忽略“命中”值。
命中关系是gte。所以命中大于 10000。要获得实际计数，您可以使用 value_count 聚合。我没有感到困惑，你有你的评论

标签： elasticsearch elasticsearch-aggregation elasticsearch-query

【解决方案1】：

在 Jaspreet 的 cmets 之上，我提出以下建议：

使用track_total_hits=true 获取准确计数（自7.0 起），同时保持size=0 仅聚合。
在运行直方图之前，使用 stats 聚合获得更多见解。

GET dates/_search
{ 
  "track_total_hits": true,               
  "size": 0, 
  "aggs": { 
    "dates_insights": {
      "stats": {
        "field": "createdDate"
      }
    },
    "viewed_in_feed_by_day": { 
      "date_histogram": { 
        "field": "createdDate", 
        "interval" : "month",
        "format" : "yyyy-MM-dd",
        "min_doc_count": 1
      } 
    } 
  } 
}

屈服

...
"hits" : {
    "total" : {
      "value" : 3,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "viewed_in_feed_by_day" : {
      "buckets" : [
        {
          "key_as_string" : "2020-01-01",
          "key" : 1577836800000,
          "doc_count" : 1
        },
        {
          "key_as_string" : "2020-02-01",
          "key" : 1580515200000,
          "doc_count" : 1
        },
        {
          "key_as_string" : "2020-03-01",
          "key" : 1583020800000,
          "doc_count" : 1
        }
      ]
    },
    "dates_insights" : {
      "count" : 3,
      ...
      "min_as_string" : "2020-01-22T13:09:21.588Z",
      "max_as_string" : "2020-03-22T13:09:21.588Z",
      ...
    }
  }
...

【讨论】：

是否可以通过特定文档字段区分存储桶结果中的“doc_count”？
不客气。不确定“按规范文档字段计数的文档数”是什么意思...最终响应应该是什么样的？
我实际上是通过在“viewed_in_feed_by_day”聚合中使用基数聚合找到的