HttpClient 异步请求失败

Question

我需要从大约 3000 个网址中获取内容。我正在使用HttpClient，为每个网址创建Task，将任务添加到列表，然后await Task.WhenAll。像这样的

    var tasks = new List<Task<string>>();
    foreach (var url in urls) {
        var task = Task.Run(() => httpClient.GetStringAsync(url));
        tasks.Add(task);
    }

    var t = Task.WhenAll(tasks);

但是，许多任务最终都处于Faulted 或Canceled 状态。我认为具体的网址可能有问题，但没有。我可以使用 curl 并行获取这些 url。

我尝试了HttpClientHandler、WinHttpHandler 和各种超时等。总是有几百个网址以错误结尾。 然后我尝试以 10 个为一组获取这些 url，这很有效。没有错误，但很慢。 Curl 将非常快地并行获取 3000 个 url。 然后我尝试获取httpbin.org 3000 次以验证问题不在于我的特定网址：

    var handler = new HttpClientHandler() { MaxConnectionsPerServer = 5000 };
    var httpClient = new HttpClient(handler);

    var tasks = new List<Task<HttpResponseMessage>>();
    foreach (var _ in Enumerable.Range(1, 3000)) {
        var task = Task.Run(() => httpClient.GetAsync("http://httpbin.org"));
        tasks.Add(task);
    }

    var t = Task.WhenAll(tasks);
    try { await t.ConfigureAwait(false); } catch { }

    int ok = 0, faulted = 0, cancelled = 0;

    foreach (var task in tasks) {
        switch (task.Status) {
            case TaskStatus.RanToCompletion: ok++; break;
            case TaskStatus.Faulted: faulted++; break;
            case TaskStatus.Canceled: cancelled++; break;

        }
    }

    Console.WriteLine($"RanToCompletion: {ok} Faulted: {faulted} Canceled: {cancelled}");

同样，数百个任务总是以错误结束。

那么，这里的问题是什么？为什么我无法使用async 获取这些网址？

我正在使用 .NET Core，因此使用 ServicePointManager (Trying to run multiple HTTP requests in parallel, but being limited by Windows (registry)) 的建议不适用。

另外，我需要获取的 url 指向不同的主机。 httpbin 的代码只是一个测试，表明问题不在于我的 url 无效。

Answer 1

正如 Fildor 在 cmets 中所说，httpClient.GetStringAsync 返回 Task。所以你不需要把它包装在Task.Run中。

我在控制台应用程序中运行了这段代码。完成需要 50 秒。在您的评论中，您写道 curl 在不到一分钟的时间内执行了 3000 个查询——同样的事情。

var httpClient = new HttpClient();
var tasks = new List<Task<string>>();
var sw = Stopwatch.StartNew();

for (int i = 0; i < 3000; i++)
{
    var task = httpClient.GetStringAsync("http://httpbin.org");
    tasks.Add(task);
}

Task.WaitAll(tasks.ToArray());
sw.Stop();

Console.WriteLine(sw.Elapsed);
Console.WriteLine(tasks.All(t => t.IsCompleted));

此外，所有请求均已成功完成。

在您的代码中，您正在等待使用Task.Run 启动的任务。但是需要等待调用httpClient.Get...启动的任务完成