【问题标题】:Rackspace cloud files: how to size containers to optimize performance?Rackspace 云文件:如何调整容器大小以优化性能?
【发布时间】:2011-09-10 15:57:39
【问题描述】:

Rackspace 云文件使用平面存储系统,使用“容器”来存储文件。根据 Rackspace 的说法,每个容器的文件数量没有限制。

我的问题是每个容器是否有最佳/最有效的文件数量来优化写入/获取性能。

如果我有数以万计的文件要存储,它们应该全部放在一个巨大的容器中还是分成许多较小的容器?如果是这样,最佳容器尺寸是多少?

【问题讨论】:

    标签: rackspace-cloud


    【解决方案1】:

    仅供参考: [摘自机架空间支持的片段]

    长话短说,容器就是数据库,表中的行越多,在标准硬件上编写它们所需的时间就越多。当写入尚未提交到磁盘时,它位于队列中,并且会丢失数据。这是我们在使用大型容器时注意到的,并且对象越多,发生这种情况的可能性就越大,因此我们设置了限制来保护数据。

    由于速率限制,您的数据是安全的,它只是稍微减慢了写入速度

    限制从 50,000 个对象开始,在这个级别上,它会将您限制为每秒 100 次写入

    容器中的 1,000,000 个对象,每秒 25 个

    在 500 万次及以上时,每秒写入次数减少到 4 次

    我们对这些限制表示歉意,并将更新我们的文档以更清楚地表达这一点。

    -这最近对我们造成了很大的伤害。以为我会分享,直到他们获得最新的 API 文档,以便其他人可以围绕这个问题进行计划。

    【讨论】:

    • 我不认为今天仍然如此。我们有一个遗留应用程序,它可以将大量文件写入单个容器(目前大约有 7700 万个对象),并且没有注意到像每秒 4 次写入这样的限制。我们有一种目录结构,但每个目录不应该达到一百万个对象,所以也许这就是阻止我们遇到任何剧烈节流的原因?
    【解决方案2】:

    我们建议每个容器不超过 100 万个对象。系统默认每个列表请求最多返回 10,000 个对象名称。

    Cloud Files 开发于 2013 年 9 月 20 日更新:每个容器 100 万个对象的建议不再准确,因为 Cloud Files 已切换到所有 SSD 容器服务器。此外,该列表一次限制为 10,000 个容器。

    【讨论】:

    • 您好 Robert,根据您的一位开发人员的建议,建议更多的是每个容器 1000 万个对象,为什么您的建议之间存在巨大差异? (rackspace.com/cloud/blog/2010/01/26/…)
    • “但在添加数百万个对象后,某些用例的性能会减慢(并趋于平稳)”。他只是不太清楚减速有多严重! “没有什么能阻止你将十亿件物品放入一个容器中。” - 没有什么能阻止你,除非它需要大约 8 年的时间才能将 10 亿个对象排入队列并限制它们的速率!
    猜你喜欢
    • 2011-09-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-07-10
    • 2014-06-23
    • 2017-06-06
    • 2014-03-08
    • 1970-01-01
    相关资源
    最近更新 更多