(*nix) 用于构建快速且可扩展的 Web 服务的云/集群解决方案 [关闭]答案

【问题标题】：(*nix) Cloud/Cluster solutions for bulding fast & scalable web-services [closed](*nix) 用于构建快速且可扩展的 Web 服务的云/集群解决方案 [关闭]
【发布时间】：2010-12-17 11:31:41
【问题描述】：

我要构建一个高性能的网络服务。它应该使用数据库（或任何其他存储系统）、某种处理语言（脚本或非脚本）和 Web 服务器守护进程。系统应该分布在大量的服务器上，这样服务才能快速可靠地运行。

它应该复制数据以实现可靠性，同时它必须提供分布式计算功能以便处理大量数据（主要是在大型数据库上无法生存的查询在具有合适的反应水平）。缓存技术不在主题范围内。

我应该考虑哪些集群/云解决方案？

有大量的单系统映像 (SSI)、集群文件系统（可以是设计的一部分）、Hadoop、BigTable 克隆等项目。每个都有其优点和缺点，“关于”页面总是说解决方案很棒:) 如果您尝试部署一些解决该主题的东西 - 分享您的经验！

UPD： 它不是文件托管，也不是游戏，而是一种互动性很强的东西。您可以将 StackOverflow 作为 Web 服务的示例：小块数据、半静态内容、密集型数据库操作。

Cross-Post on ServerFault

【问题讨论】：

您可能应该更具体地回答您的问题，否则您可能最终没有/很少回复。
“为了正确地问一个问题，一个人需要知道至少一半的答案”（c），这就是为什么这个问题相当笼统:) 我知道有各种各样的不同目的的解决方案，我不会得到正确的答案。然而，作为一个起点，很高兴听到一些在集群上构建任何 Web 服务的经验分享。稍后，谷歌搜索将帮助获得更多信息:)

标签： linux unix cloud scalability cluster-computing

【解决方案1】：

您确实需要更好地定义“大”。 “大”是一种愿望，还是您的营销部门*认为他们会接受的硬性数字？

如果您可以使用简单的组件来做到这一点，那就去做吧。 Cassandra 和 Hadoop 之类的东西不容易设置（尤其是后者）或开发；能够有效开发此类应用程序的开发人员将非常昂贵且难以招聘。

所以我想说，从使用您最喜欢的“传统”数据库开始，使用适当的高可用性解决方案，然后等到接近极限（您始终可以测量实际应用程序的极限在哪里，一旦构建完成并且您拥有一个性能测试系统）。

请记住，Stack Overflow 使用非常传统的组件，只需使用少量商品硬件进行良好调整。这对它的规模来说很好，但永远不会适用于（例如 Facebook），但开发人员知道 SO 的受众永远不会达到 Facebook 的水平。

编辑：

当“传统”技术开始失败时，例如如果您达到了对单个数据库实例可以执行的操作的限制，那么您可以考虑分片或对更多实例进行功能分区（再次选择 HA 系统）。

您唯一需要这些（例如 Cassandra）“nosql”系统之一的情况是，如果您有一个具有非常高写入要求和可用性要求的同构数据存储；即便如此，您仍然可以通过对传统系统进行分片来解决它——就像其他人（甚至 Facebook）有时所做的那样。

【讨论】：

这就是我推荐 Appengine 的原因，它更容易开发，也更容易扩展。价格也很合适！

【解决方案2】：

由于您有点含糊不清，因此很难提出具体建议，但对于基本上任何 Web 服务，我都会推荐 Google Appengine。它可靠、易于使用，并且基于 google 架构构建，因此快速可靠。

【讨论】：

我应该想象 OP 希望将它托管在他们自己的基础架构上。多云的东西（通常）没有 SLA，一般来说延迟和性能都很差。
也许他们做到了，但我仍然会推荐 Appengine，而不是任何类型的内部解决方案。
我认为它既不快速也不可靠。不过，我不能与“秤好”争论。我想知道它是否具有成本效益？我们还没有真正调查过这么多。
我不知道成本，所以其他人必须对此发表评论。

【解决方案3】：

我想推荐 Stratoscal 交响乐。它是一个私有云服务，可以完成这一切。你刚才提到的一切——这项服务完美地提供了。他们的 Symphony 产品在您的企业数据中心提供公共云体验。如果这就是你要找的东西，我建议你试一试

【讨论】：