延迟访问服务器以尽量避免高峰时间

Question

数千人使用的 JAVA 7 离线软件会在用户早上运行时自动将备份发送到云端。每个发送的备份都会消耗服务器带宽。见下表：

可以注意到，08:15 AM 到 09:45 AM 之间形成了一个高峰。这是因为大多数用户在此时间间隔之间运行软件。

我们需要更改软件，使其每 10 分钟向云端发送一次备份。这将大大增加带宽消耗，我们担心会达到一些限制，因为许多用户在同一高峰时间运行该软件。

作为一种解决方法，我们计划将第一次备份随机推迟到服务器。但是，我们并不认为这是一个好的解决方案。

这类问题常见吗？有没有标准的解决方案？

---

这是我们正在考虑的算法，但我们不相信这是一个好的解决方案：

new Thread(new Runnable(){                          
    @Override
    public void run(){

        String hhmmNow = new SimpleDateFormat("HH:mm")
                .format(Calendar.getInstance().getTime());

        if( hhmmNow.compareTo("08:15")>=0 && hhmmNow.compareTo("09:45")<=0 ){
            Thread.sleep(new Random().nextInt(3600000)); //Sleep from 0 to 1h
        }

        while(true){
            sendBackupToTheCloud();
            Thread.sleep(600000); //Sleep 10 minutes
        }       
    }
}).start();

---

编辑： 根据 Mcdowella 的建议改为以下解决方案：

new Thread(new Runnable(){                          
    @Override
    public void run(){

        int periodicity = 10 * 60 * 1000;

        //Randon sleep between 0 and 10 minutes to 
        //distribute backups within the ten-minute interval.
        Thread.sleep(new Random().nextInt(periodicity));

        //Send new backup to server every 10 minutes
        while(true){
            sendBackupToTheCloud();
            Thread.sleep(periodicity);
        }       
    }
}).start();

Answer 1

有几种不同的方法可以解决这个问题。您可以做一个稍微有点闲聊的协议，其中客户端首先请求进行备份并等待服务器响应服务器允许他们上传他们的数据，从而允许服务器在高负载时对某些客户端进行排队。

执行此操作的一种方法是发送 408 请求超时，然后写入客户端以在延迟后重试。

另一个想法是使用显式thread pool 来处理请求，以便在任何给定时间处理的客户端数量都有保证的限制。通常，大多数 Web 服务器都会有一种配置方式，例如 maxThreads option on Tomcat。

问题中建议的随机化可能不是一个好主意，因为分布式系统往往提供非常大的样本量，以至于即使看似罕见的事件也不可避免。

Answer 2

不好。从繁忙时间开始延迟的用户可能最终会成为高峰期的服务器。一些用户即使在不需要时也会延迟。

虽然随机化会使峰值稍微变平，但这肯定不是一个好主意。简单地询问服务器是否可以处理请求是简单且更有效的。它不需要是一个单独的请求，HTTP 状态503 Service Unavailable 就是针对这种情况的。您的客户端应在几分钟后重试。

虽然随机分布使峰值趋于平缓，但询问服务器是随着时间推移完美保持利用率的唯一方法。

请注意，您当前的带宽低于 1 Mb/s，这比我的 IP 提供商提供的标准私人家庭连接小百倍。您可以使用负载平衡器，或者只是让客户端从服务器池中进行选择，如果它对于一台服务器来说太多了。但是，单个服务器应该很容易使磁盘带宽饱和，对于旧 HDD，它大约为 50 MB/s = 400 Mb/s。