基于 rocksdb 限制的 yugabytedb 中 yb-tserver 的存储限制

Question

有一个关于 YB RocksDB 的问题。来自 SpeeDB 的 blog 声称

RocksDB... 当其数据集大小超过 100GB 时，需要分片以在单独的节点上运行。许多用户将自己限制为 30GB 的分片

这对 YugabyteDB 有什么影响吗？是否建议将每个 t-server 保持在 100GB 以下？或者这只是 SpeedB 的营销废话？

Answer 1

博客是从使用单一的 rocksdb 数据库的角度来写的。虽然一些使用 rocksdb 实现的产品正是这样做的，但 YugayteDB 使用“tablets”（本质上是分片）从数据库对象中抽象出 rocksdb 存储层。 YugabyteDB 中的数据库对象可以从一开始就使用一个或多个分片，然后使用 tablet 拆分，如果 tablet 变得太大，可以稍后拆分。这应该表明该博客不适用于 YugabyteDB。在 YugabyteDB 中，每个平板电脑（分片）都有自己的 RocksDB 实例，所以真正的问题是“单个平板电脑的大小是多少”。我们确实将其限制为 10GB，超过 10GB 我们会自动拆分平板电脑，尽管也有用户使用 100GB-200GB 的平板电脑。非常大的平板电脑的问题是平衡时间（需要时间通过网络传输 200GB 以进行重新复制）和热点。

不过，一个 tserver（具有足够的 CPU 和内存）可以运行数百个平板电脑。