适用于私有云的 AWS S3 替代方案

Question

现在我们需要从 AWS 迁移到私有数据中心。我们需要找出潜在的替代存储，而不是 AWS S3。 目前S3的使用方式如下：

• 整体存储大小为10TB；
• 最小/平均/最大对象大小为 0.5/2/100 Mb；
• 我们有 N 个同时写入/读取的应用程序实例
  对象大约 50 次写入/秒，30 次读取/秒；
• 此存储应该是冗余（高可用性）、容错、可扩展的；

简单的实现可以将这些数据存储在：

• 简单的 NFS 存储并添加一些复制功能；
• 只需将提及的对象存储在 NoSQL DB 中（如 Cassandra 中的示例）。但是 Cassandra 需要多个实例来支持这种存储（不建议存储 > 1TB pn 1 Cassandra 节点 Cassandra capacity planning）

对于这种情况，您会推荐什么解决方案？

Answer 1

如果您需要对象存储，我可以推荐 elliptics (in english)。 据我所知，它对磁盘存储没有限制。

对于 Cassandra，我们使用小于 200-500 Gb 的 SSD 磁盘（以获得更好的性能）。环大小取决于您的要求（读/写延迟、复制率、寿命）。

50 次写入/秒，30 次读取/秒

这对 Cassandra 来说真的很容易，因为我可以与我们的设置进行比较。 在这种情况下，它更多地取决于您的对象。

一般来说，如果是分布式网络，您也可以查看GlusterFS。

Answer 2

您可以使用 OpenStack Swift

Swift 是一个高度可用、分布式、最终一致的对象/blob 存储。组织可以使用 Swift 高效、安全且廉价地存储大量数据。

了解更多信息：https://docs.openstack.org/swift/latest/
还有https://oldhenhut.com/2016/05/31/s3-vs-swift/

Answer 3

与 S3 兼容的私有云服务有很多选项。如果你喜欢开源解决方案，上面的开放堆栈和 Cassandra 都是不错的选择。请注意，通常无论您使用什么，您最终都可能会建立一个具有多个节点的云，这不可避免地要换取冗余和可用性。还有一些很好的商业和经济产品，例如来自Cloudian的产品

Answer 4

如果您想拥有私有云存储，使用MinIO 是您的最佳选择。它与 AWS S3 兼容，这意味着使用 AWS S3 的应用程序可以无缝迁移到 MinIO。他们有一个如何将 MinIO 服务器与 AWS CLI 连接的教程。您可以针对公共托管的 MinIO 服务器https://play.min.io:9000 对其进行测试。请参考AWS CLI with MinIO Server。

您可以使用 MinIO 分布式设置来拥有高可用性的存储系统。请注意，动态扩展不是 MinIO 分布式设置的功能。如果你想扩展你的集群，你最终会用你想要的服务器/磁盘数量来旋转一个新的集群，然后你必须将你的数据从旧的迁移到新的。

我发现它比 HDFS 更容易使用。除此之外，Hadoop生态系统之外还有很多技术缺乏HDFS集成。例如，Docker Registry 缺少内置的 HDFS 存储驱动程序。但是，它有一个 S3 驱动程序，因此您可以使用 MinIO 作为它的对象存储。