为什么一个数据文件夹几乎是 70 GB 大小？答案

【问题标题】：Why one data folder is almost 70 GB size?为什么一个数据文件夹几乎是 70 GB 大小？
【发布时间】：2022-01-02 18:08:08
【问题描述】：

我在 k8s 上安装了 elasticsearch，其中 fluentd 每天使用日志放置数据，索引的平均大小约为 1GB，我昨天手动删除了超过一周的索引（我没有任何删除策略），因为存储接近最大（我每个节点有 100 GB 存储空间）但是，由于某种原因，一个文件夹仍然几乎是 70GB，你知道为什么吗？

[elasticsearch@elasticsearch-master-1 indices]$ c^C
[elasticsearch@elasticsearch-master-1 indices]$ du -hs * | sort -hh
48K     7GFwGZHoQ4uM8KCpLc-Oxg
48K     W0A74hl-Qw-2dIpx65hXFA
60K     BNKGjyyZRheQOKpF4jPRmw
64K     2oGMlHa9TOC5IAtG4E8N2A
64K     5SidHjfxS-yvghDJL2y7Ug
64K     NpCZAg2_R0SItwTY4n7cKA
88K     leZHbZpEQW6A6xWCgVZTJQ
116K    lA7py6UYQpS6kMBAcD-ShQ
216K    pXqc9yQYSfCnSyi8Zf3qCA
432K    J0zWpVVoQr6AUZwzMDObtA
5.3M    gJ-_TDd9Q4KZAqjrSnz3RA
41M     sMjw45GHSgah5a0c7PH1oA
378M    nR-A9ZnxQdGhnNP0Snadhg
451M    bCEnvyh4RuKHMD2H0EbS_w
476M    4EhSvr21QROhgVjY8yExIg
502M    p7o2nSSjQiyFDQr4S5XECQ
504M    U98Y4gbqS5mBnQeu-uXZyg
530M    ciE5Uy6wQ1272mECz0VBgg
553M    qydbdCS4SpuI9ISA-LRisg
67G     hJZCqt9OQ8yRsRBlLCiPYg
[elasticsearch@elasticsearch-master-1 indices]$ pwd
/usr/share/elasticsearch/data/nodes/0/indices
[elasticsearch@elasticsearch-master-1 indices]$ ```

【问题讨论】：

你能发布 GET */_stats/store 的结果吗？human=true（在 kibana 中）？这将有助于了解哪个索引如此重。然后我们将能够调查原因:)
@PierreMallet json-parser.com/0ea13543

标签： elasticsearch elastic-stack

【解决方案1】：

在检查您发布的统计数据后，cuplrit 似乎是 fluentd-2021-11-17 索引。

{
    "fluentd-2021-11-17": {
        "uuid": "hJZCqt9OQ8yRsRBlLCiPYg",
        "primaries": {
            "store": {
                "size": "66.5gb",
                "size_in_bytes": 71466871581,
                "total_data_set_size": "66.5gb",
                "total_data_set_size_in_bytes": 71466871581,
                "reserved": "0b",
                "reserved_in_bytes": 0
            }
        },
        "total": {
            "store": {
                "size": "133.2gb",
                "size_in_bytes": 143041475223,
                "total_data_set_size": "133.2gb",
                "total_data_set_size_in_bytes": 143041475223,
                "reserved": "0b",
                "reserved_in_bytes": 0
            }
        }
    }
}

您今天肯定遇到了一个比平时创建更多日志的事件。

【讨论】：

感谢 Pierre 的回复，我不知道为什么，但我以某种方式错过了这个指数......我删除了它，它就像一个魅力！