【问题标题】:13 million files gridfs mongo1300 万个文件 gridfs mongo
【发布时间】:2012-03-16 09:36:28
【问题描述】:

我们必须存储大约 1300 万个文件并对文件执行一些标准操作。我们正在使用 Windows。第一个问题是我们可以将它存储在文件系统中吗?总文件大小约为 6000 TB。我正在检查 MongoDB 上的 gridfs。我不知道这是否是一个好方法。我们将在服务器端使用 Java。
如果它可以舒适地存储这些文件,那么获取文件并将其提供给用户以及文件重命名、元数据更新等操作的性能如何。
我们还需要稍后将所有文件备份到辅助文件系统存储。但是gridfs中的文件将存储在块中。所以问题是我们如何快速获取所有这些文件并将其发送到辅助文件系统。
请告诉我应该采取的方法。

【问题讨论】:

  • @JeffFoster,仍然不确定要走哪条路。研究一些高性能文件系统、Ceph、Lustre 等。我对文件系统了解不多。 gridfs 是更好的选择吗...?
  • @Vish 正如 Jeff 所写,这是为专业人士准备的......而不是“普通”专业人士可能......对于专业人士来说:-)

标签: file mongodb storage gridfs


【解决方案1】:

MongoDB 是 web 规模的,所以应该没问题

【讨论】:

  • 如何将gridfs中存储的所有文件备份到辅助文件系统存储中,是否可以轻松完成?
  • 强制性 NSFW 帖子:youtube.com/watch?v=b2F-DItXtZs。此外,将 GridFS 备份到另一个文件系统不是很直观,如果您在 Windows 上存储文件,从 GridFS 数据库中检索它们将使许多 MS 应用程序(如 Word、Excel、Photoviewer)无法读取它们。如果你在 Linux 上应该没问题。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2012-05-25
  • 1970-01-01
  • 2011-06-19
  • 1970-01-01
  • 1970-01-01
  • 2018-08-13
相关资源
最近更新 更多