水平缩放如何减少系统的负载？

Question

理论上，假设我有一个在负载均衡器下运行的 3 节点 LXD 集群。流量开始增加，我需要通过在集群中添加另一个节点来水平扩展。至此，我在 LB 下有了一个 4 节点的集群。

这种方法在哪些方面有益？我试图了解它是否减少了包含节点的整体裸机的负载，或者只是允许处理更多请求。如果允许处理的请求更多，我是否要测量每个容器的平均负载？

Answer 1

只要有空闲的 CPU 周期和足够的网络带宽，添加新节点几乎总是可以同时处理更多请求。但在某些情况下，这会降低每个请求的响应速度。

如果 CPU 负载很高，那么添加另一个节点（在同一个盒子上）会降低吞吐量（延长响应时间——因为你要求 CPU 做更多它可以同时做的工作）。如果相反，由于阻塞 IO 导致负载很高，那么在盒子上添加另一个节点应该不会显着影响每个请求的处理时间。

在阻塞 IO 情况下，您可以添加新节点，直到 CPU 达到其阈值水平——您永远不想最大化 CPU，您希望阈值可能为 75%，以允许负载变化。

但是，这些天你不应该使用阻塞 io 来运行代码——你应该在 Node.js 或 Go 中编写所有内容；）

Answer 2

您确实需要更具体地了解您的设置，这可能不是最好的论坛。如果您的应用程序是多线程的并且您使用的是单台机器，那么理论上，如果您在节点上使用资源限制，则除了隔离特别“贪婪”客户端的能力之外，您不会通过添加更多节点获得任何收益。即使它是单线程的（例如 Node.js）并且您使用集群或子进程，您仍然可以最大限度地利用 CPU。

具有单个进程的稀疏节点的一个优点是您可以定制适合每个应用程序的资源限制。在某些时候，您将需要能够扩展到多个主机，尤其是在您需要高可用性的情况下。