【发布时间】:2011-09-10 15:57:39
【问题描述】:
Rackspace 云文件使用平面存储系统,使用“容器”来存储文件。根据 Rackspace 的说法,每个容器的文件数量没有限制。
我的问题是每个容器是否有最佳/最有效的文件数量来优化写入/获取性能。
如果我有数以万计的文件要存储,它们应该全部放在一个巨大的容器中还是分成许多较小的容器?如果是这样,最佳容器尺寸是多少?
【问题讨论】:
标签: rackspace-cloud
Rackspace 云文件使用平面存储系统,使用“容器”来存储文件。根据 Rackspace 的说法,每个容器的文件数量没有限制。
我的问题是每个容器是否有最佳/最有效的文件数量来优化写入/获取性能。
如果我有数以万计的文件要存储,它们应该全部放在一个巨大的容器中还是分成许多较小的容器?如果是这样,最佳容器尺寸是多少?
【问题讨论】:
标签: rackspace-cloud
仅供参考: [摘自机架空间支持的片段]
长话短说,容器就是数据库,表中的行越多,在标准硬件上编写它们所需的时间就越多。当写入尚未提交到磁盘时,它位于队列中,并且会丢失数据。这是我们在使用大型容器时注意到的,并且对象越多,发生这种情况的可能性就越大,因此我们设置了限制来保护数据。
由于速率限制,您的数据是安全的,它只是稍微减慢了写入速度
限制从 50,000 个对象开始,在这个级别上,它会将您限制为每秒 100 次写入
容器中的 1,000,000 个对象,每秒 25 个
在 500 万次及以上时,每秒写入次数减少到 4 次
我们对这些限制表示歉意,并将更新我们的文档以更清楚地表达这一点。
-这最近对我们造成了很大的伤害。以为我会分享,直到他们获得最新的 API 文档,以便其他人可以围绕这个问题进行计划。
【讨论】:
我们建议每个容器不超过 100 万个对象。系统默认每个列表请求最多返回 10,000 个对象名称。
Cloud Files 开发于 2013 年 9 月 20 日更新:每个容器 100 万个对象的建议不再准确,因为 Cloud Files 已切换到所有 SSD 容器服务器。此外,该列表一次限制为 10,000 个容器。
【讨论】: