【发布时间】:2012-03-16 09:36:28
【问题描述】:
我们必须存储大约 1300 万个文件并对文件执行一些标准操作。我们正在使用 Windows。第一个问题是我们可以将它存储在文件系统中吗?总文件大小约为 6000 TB。我正在检查 MongoDB 上的 gridfs。我不知道这是否是一个好方法。我们将在服务器端使用 Java。
如果它可以舒适地存储这些文件,那么获取文件并将其提供给用户以及文件重命名、元数据更新等操作的性能如何。
我们还需要稍后将所有文件备份到辅助文件系统存储。但是gridfs中的文件将存储在块中。所以问题是我们如何快速获取所有这些文件并将其发送到辅助文件系统。
请告诉我应该采取的方法。
【问题讨论】:
-
@JeffFoster,仍然不确定要走哪条路。研究一些高性能文件系统、Ceph、Lustre 等。我对文件系统了解不多。 gridfs 是更好的选择吗...?
-
@Vish 正如 Jeff 所写,这是为专业人士准备的......而不是“普通”专业人士可能......对于专业人士来说:-)
标签: file mongodb storage gridfs