【问题标题】:Is there a problem with sticking huge amounts of files in a single S3 bucket?在单个 S3 存储桶中粘贴大量文件是否存在问题?
【发布时间】:2011-07-28 00:23:04
【问题描述】:

我有大量 (700,000+) 文件(平均约 50kb)要存储在 S3 上。我不确定是否应该将它们全部放在一个桶中(就我而言这很好),或者将它们分成更小的桶。

我只是担心如果文件都在一个存储桶中,S3 可能需要更长的时间来提供文件,就像你在 Unix 目录中放置太多东西一样。这是一个担心,我应该把它们分成更多的桶,还是只做最简单的事情,把它们放在一个桶里?

【问题讨论】:

    标签: amazon-web-services bucket


    【解决方案1】:

    我自己并没有存储那么多对象,但是大量对象(即使在单个存储桶中)正是 S3 旨在处理的任务类型。检索该存储桶中对象的完整列表显然是一项相当大的任务,但它不应损害 S3 查找键并返回您放置在那里的对象的能力。

    应该告知您,即使 S3 正常,某些工具(例如用于“浏览”S3 的图形工具,或执行删除每个对象后删除存储桶等操作的某些工具)也不能很好地处理此问题。这只是需要注意的事情。

    【讨论】:

      猜你喜欢
      • 2016-11-12
      • 2021-12-02
      • 1970-01-01
      • 1970-01-01
      • 2020-06-14
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-09-17
      相关资源
      最近更新 更多