如何确定 .NET 中的并发 HTTP 请求瓶颈？

Question

我正在尝试make as many HTTP requests to a URL as possible, as quickly as possible。

我正在使用此代码来限制最大并行度，因此我不会通过一次生成大量 Tasks 来溢出内存。

    public static Task ForEachAsync<T>(this IEnumerable<T> source, int dop, Func<T, Task> body)
    {
        return Task.WhenAll(
            from partition in Partitioner.Create(source).GetPartitions(dop)
            select Task.Run(async delegate {
                using (partition)
                    while (partition.MoveNext())
                        await body(partition.Current);
            }));
    }

这似乎工作正常。

body() 基本上归结为：

async Task Body()
{
    var r = WebRequest.Create("// the url");
    await r.GetResponseAsync();
}

但是，我似乎在某个地方遇到了瓶颈。如果我尝试使用 dop 的不同值进行 2500 迭代，我会得到以下结果：

DOP: 50
Total Time: 00:00:14.4801781
Average (ms): 246.6088
StDev: 84.1327983759009

DOP: 75
Total Time: 00:00:09.8089530
Average (ms): 265.758
StDev: 110.22912244956

DOP: 100
Total Time: 00:00:11.9899793
Average (ms): 344.9168
StDev: 173.281468939295

DOP: 200
Total Time: 00:00:09.1512825
Average (ms): 627.0492
StDev: 572.616238312676

DOP: 500
Total Time: 00:00:09.3556978
Average (ms): 1361.5328
StDev: 1798.70589239157

DOP: 750
Total Time: 00:00:12.6076035
Average (ms): 2009.058
Normal Total: 5022646
StDev: 2348.20874093199


DOP: 1000
Total Time: 00:00:11.4721195
Average (ms): 2453.782
StDev: 2481.56238190299

DOP: 2000
Total: 00:00:11.6039888
Average (ms): 4100.5536
StDev: 2459.36983911063

这似乎表明dop=50 小于瓶颈。但是，当您超过dop~=100 时，您会注意到每个请求所花费的Average 时间（这是Func<T, Task> body 运行2500 次所需的平均时间）与DOP 几乎呈线性增长（有点诚然，这些结果中的噪音，但它们是可重复的，误差很小）。

这表明body 正在做的工作中有一个“队列”，对吧？

我已经设置好了

ServicePointManager.DefaultConnectionLimit = int.MaxValue;

如果我这样做了

servicePoint = ServicePointManager.FindServicePoint("// the url", null);

和监控

servicePoint.CurrentConnections 

在每次执行body 时，它总是等于dop（除了初始加速和减速）。

我已经从各种网络尝试过这个，所以它不太可能是基于硬件的，它不应该是远程服务器，因为它是为大量入站负载而设计的（并不是说我所说的数字甚至很重）

如何更好地描述我正在做的事情？

Answer 1

完成所有工作级别的总时间在 9 到 11 秒之间。这是有道理的，因为当增加 DOP（以指数方式）时，您最终会使后端资源或网络或其他东西饱和。

我敢打赌，如果您发布的 DOP 基准数字较低，我们会看到更高的总时间。

当您此时将并发请求数加倍时，平均完成时间会加倍。

查看以每秒项目数或总时间衡量的吞吐量。这是一个有趣的指标。每项延迟不是。