Ceph 原始存储使用与池存储使用答案

【问题标题】：Ceph raw storage usage versus pool storage usageCeph 原始存储使用与池存储使用
【发布时间】：2018-06-25 11:31:42
【问题描述】：

我是 Ceph 的新用户。

我的 Ceph 服务器运行的是 12.2.5 版。它有 3 个节点，每个节点都有 1 个 OSD 和 4TB 硬盘。

ceph.conf

osd pool default size     = 3
osd pool default min size = 2

我已将 252GB 数据上传到 Ceph。

据我了解，由于设置了osd pool default size = 3，原始存储使用量应该是 3 倍左右。

但现在我的全球原始存储使用量几乎是我数据的 6 倍 (1605GB / 252GB = 6.3)

GLOBAL:
    SIZE       AVAIL     RAW USED     %RAW USED
    11165G     9560G        1605G         14.38
POOLS:
    NAME                          ID     USED      %USED     MAX AVAIL     OBJECTS
    .rgw.root                     8       1113         0         3000G           4
    default.rgw.control           9          0         0         3000G           8
    default.rgw.meta              10     21502         0         3000G          72
    default.rgw.log               11         0         0         3000G         269
    default.rgw.buckets.index     15         0         0         3000G         427
    default.rgw.buckets.data      16      256G      7.88         3000G     6522963

有人在 Ceph 上遇到同样的问题吗？

更新

我想我找到了原因。我的大部分文件都是小文件，但在 Ceph 版本 12.2.5 (bluestore) 中，bluestore 的最小分配大小为bluestore_min_alloc_size_hdd = 65536，因此如果文件小于 64k，它仍然使用 64k 来存储它。

我测试了上传 2000 个文件（每个 64k）和 3200 个文件（每个 40k），总共大约 128M

64k文件的原始使用量为410M，接近384M（2000 * 64k * 3）

40k文件的原始使用量为602M，接近614M（3200 * 64k * 3）

【问题讨论】：

标签： storage ceph

【解决方案1】：

我也有同样的问题。我只是在创建池后才意识到这一点。您可以将 min_alloc 更改为 4096，但我不知道它将如何为您执行。我会建议尽管去一半到 32k 或 16k 但不要更低。

【讨论】：

我有完全相同的问题，更改 bluestore_min_alloc_size 似乎没有任何作用，即配置显示新值，但文件实际上仍使用 64K。我错过了什么？
我认为唯一的解决方案是创建一个新集群并迁移到该集群。此外，我不建议存储低于 16k 的任何内容，因为您最好将 SSD 用于该大小的对象。
底层块存储是 SSD，我 50% 的文件都低于 1KB..
那是很多小物件。如果您有超过 10% 的文件小于 64kb，则只需使用 ssd 进行直接存储（速度更快且不存在开销）。使用标准 raid 或仅使用 zfs 镜像。 Ceph 不适合我发现的小对象。它更适合较大的物体。默认情况下，ssd 上的块大小为 4k，因此升级到 octopus 可能对您有用。
我知道 Ceph 并不适用于小文件，但它是迄今为止最强大且（实际上）最快的解决方案（内存缓存？），适用于 Kubernetes 集群中的分布式网络存储。我不能使用 SSD，我需要在不同物理位置的多台机器上共享（并同时访问）存储。