我需要有关分布式媒体存储数据存储的建议答案

【问题标题】：I need suggestions for a distributed media storage data store我需要有关分布式媒体存储数据存储的建议
【发布时间】：2011-06-18 09:17:49
【问题描述】：

我想开发一个多媒体系统，系统需要保存数百万的视频和图像，所以我想选择一个分布式存储子系统。谁能给我一些建议？谢谢！

【问题讨论】：

【解决方案1】：

我想“数百万视频和图像”的最佳选择是内容分发/交付网络 (CDN)：

CDN 是一种服务器设置，它允许更快、更高效地交付您的媒体文件。它通过维护您的媒体副本不同的存在点 (POP) 沿着全球网络，以确保快速客户访问和最快的交付可能

如果您将使用 CDN，您无需关心许多问题（分发、快速访问）。与 CDN 的集成也应该非常简单。

【讨论】：

【解决方案2】：

@yi_H

您可以将写入配置为首先复制到多个节点，然后再返回客户端。现在是否需要这当然取决于用例。并且肯定会影响性能。因此，如果您正在实现一个写入繁重的分析数据库，它将对写入吞吐量产生重大影响。

您就缺乏要求等问题提出的所有其他观点，我赞同这一点。

在 nosql 数据库中复制带有元数据的文件系统是一种非常常见的处理方式。 @为什么你会考虑这种方法？

你看过 Mongodb gridfs 吗？我从未使用过它，但我会看看它是否能给你任何想法。

【讨论】：

从未使用过gridfs，但它在我的雷达上；）我不会将它用于视频/图片，因为您通常希望在HTTP 上提供这些元素。 Lighttpd 或 nginx 可以从 FS（通过 sendfile）很好地做到这一点......从 mongodb 获取这些将严重降低性能。

【解决方案3】：

Yo 给了我们（几乎）零关于您的要求的信息。例如：

如果我们不知道它需要支持什么，我们应该如何选择正确的工具？

在不了解系统的情况下，我建议对视频和图像使用某种 FS 复制，然后将与项目关联的元数据存储在 MongoDB、MySQL Master-Master 或 MySQL Cluster 中。

【讨论】：

【解决方案4】：

分布与什么有关？

如果您正在谈论复制以分发：

MongoDb 仅限于主从复制，因此只有一个节点能够读取/写入，这给真正的分布式系统留下了单点故障。 CouchDB 能够进行点对点复制。

找到一个很好的比较 here 和 here also compared with hbase。

使用 CouchDB，您还必须知道您将通过 http 与数据库通信并构建 web 服务。

问候，克里斯

【讨论】：

一些更正：MongoDB 有副本集，它充当 M-S，但具有自动故障转移，因此没有 SPOF。如果需要，您可以查询从属设备的读取操作，但由于 M-S 架构，数据可能会过期。

【解决方案5】：

另一种方法是使用 MongoDB 的 GridFS，作为（非常易于管理的）冗余和分布式文件系统。

有些人会说它的读取速度很慢，（and it is，主要是因为它的设计性质）但这并不一定意味着它对你的整个系统来说是一个破坏者，因为如果你以后需要性能，您总是可以将 Varnish 或 Squid 放在文件系统层的前面。

据我所知，Squid 还支持所有不太热的文件的磁盘缓存。

来源：

【讨论】：