如何使用 .NET 异步代码将 HTTP GET 发送到多个 URL 并获得第一个结果？

Question

我了解异步 javascript，但 aync .NET 有不同的方法，我仍然没有正确理解它。

我有一个要检查的 URL 列表。我想异步检查它们并获取第一个返回特定状态码的。在这种情况下，我正在寻找状态代码 401（未授权），因为这表明这是一个登录挑战，这是我所期望的。所以我不能只使用Task.WaitAny，因为我需要运行一些代码来查看哪个首先与我的状态码匹配。

谁能给我一个示例，说明如何在 aync 任务上运行回调，然后在找到所需内容时停止所有其他任务？

我在这个项目中使用 .NET 4，如果可能的话，我更愿意坚持使用它。我安装了System.Net.Http.HttpClient nuget 包。

更新： 我已经整理了以下代码，我终于得到了正确的结果，除了我认为它正在等待每个任务 - 错过了异步的全部意义。不确定在内部任务中使用new Task() 或t.Wait()，但它似乎是捕获异常的唯一方法。 （DNS 失败和连接超时时会发生异常 - 我不知道有比捕获和忽略异常更好的方法来处理这些问题。）

关于改进此代码以使其真正异步的任何建议？

    public async Task<ActionResult> Test() {
        //var patterns = GetPatterns();
        var patterns = "http://stackoverflow.com/,https://www.google.com,http://www.beweb.co.nz,https://outlook.office365.com/Microsoft-Server-ActiveSync,http://rubishnotexist.com".Split(",").ToList();

        var httpClient = new System.Net.Http.HttpClient();
        string result = "";
        CancellationTokenSource source = new CancellationTokenSource();
        CancellationToken cancellationToken = source.Token;
        var allTasks = new List<Task>();
        foreach (var pattern in patterns) {
            var url = pattern;

            Task task = new Task(() => {
                string answer = "";
                var st = DateTime.Now;
                var t = httpClient.GetAsync(pattern, HttpCompletionOption.ResponseHeadersRead, cancellationToken);
                t.ContinueWith(d => {
                    if (!source.IsCancellationRequested) {
                        if (t.IsFaulted) {
                            answer = "Fault - " + " " + url;
                        } else if (d.Result.StatusCode == System.Net.HttpStatusCode.Unauthorized) {
                            // found it - so cancel all others
                            answer = "YES - " + d.Result.StatusCode + " " + url;
                            //source.Cancel();
                        } else {
                            answer = "No - " + d.Result.StatusCode + " " + url;
                        }
                    }
                    result += answer + " ("+(DateTime.Now-st).TotalMilliseconds+"ms)<br>";
                });
                try {
                    t.Wait();
                } catch (Exception) {
                    // ignore eg DNS fail and connection timeouts
                }
            });

            allTasks.Add(task);
            task.Start();
        }

        // Wait asynchronously for all of them to finish
        Task.WaitAll(allTasks.ToArray());

        return Content(result + "<br>DONE");
    }

在上面我没有取消部分工作。这是一个包含取消的版本：

    public async Task<ActionResult> Test2(string email) {
        var patterns = GetPatterns(email);
        patterns = "http://stackoverflow.com/,https://www.google.com,http://www.beweb.co.nz,https://outlook.office365.com/Microsoft-Server-ActiveSync,http://rubishnotexist.com".Split(",").ToList();
        var httpClient = new System.Net.Http.HttpClient();

        string result = "";
        CancellationTokenSource source = new CancellationTokenSource();
        CancellationToken cancellationToken = source.Token;
        var allTasks = new List<Task>();
        foreach (var pattern in patterns) {
            var url = pattern;

            Task task = new Task(() => {
                string answer = "";
                var st = DateTime.Now;
                var t = httpClient.GetAsync(pattern, HttpCompletionOption.ResponseHeadersRead, cancellationToken);
                t.ContinueWith(d => {
                    if (!source.IsCancellationRequested) {
                        if (t.IsFaulted) {
                            answer = "Fault - " + " " + url;
                        } else if (d.Result.StatusCode == System.Net.HttpStatusCode.Unauthorized) {
                            // found it - so cancel all others
                            answer = "YES - " + d.Result.StatusCode + " " + url;
                            result += answer + " (" + (DateTime.Now - st).TotalMilliseconds + "ms)  <-- cancelled here <br>";
                            source.Cancel();
                        } else {
                            answer = "No - " + d.Result.StatusCode + " " + url;
                        }
                    } else {
                            answer = "cancelled - " + url;
                    }
                    result += answer + " (" + (DateTime.Now - st).TotalMilliseconds + "ms)<br>";
                });
                try {
                    t.Wait();
                } catch (Exception) {
                    // ignore
                }
            });

            allTasks.Add(task);
            task.Start();
        }

        // Wait asynchronously for all of them to finish
        Task.WaitAll(allTasks.ToArray());

        return Content(result + "<br>DONE");
    }

Answer 1

改用Task.WhenAll()，然后检查任务的结果。

为了防止任何人抛出异常后其他任务继续进行，您可以创建一个 CancellationToken（首先创建一个 CancellationTokenSource，然后使用其 .Token），然后将其传递给所有任务，并在失败时，您取消令牌；有关更多详细信息和示例代码，请参阅How to cancel and raise an exception on Task.WhenAll if any exception is raised?。然后所有任务都会观察令牌，并且可以选择不定期地显式检查它，如果它被取消则退出。他们还应该将它传递给那些支持它的方法，这样他们就可以在令牌被取消时快速取消。

关于例外，this answer 很好地涵盖了它们。如果您不想在调用代码中抛出异常，您应该在每个任务创建中处理异常，但是您需要相应地修改上述取消机制。相反，您可以只捕获 await Task.WhenAll() 可能抛出的单个异常，然后观察每个任务的 Task.Exception 属性中抛出的所有异常，或者如果这是所需的结果，则忽略它们。

---

成功后重新取消（来自 cmets）- 我想有很多方法可以做到，但一种可能是：

using (var cts = new CancellationTokenSource())
{
    var tasks = new List<Task<HttpStatusCode>>();

    foreach (var url in patterns)
    {
        tasks.Add(GetStatusCodeAsync(url, cts.Token));
    }

    while (tasks.Any() && !cts.IsCancellationRequested)
    {
        Task<HttpStatusCode> task = await Task.WhenAny(tasks);

        if (await task == HttpStatusCode.Unauthorized)
        {
            cts.Cancel();
            // Handle the "found" situation
            // ...
        }
        else
        {
            tasks.Remove(task);
        }
    }
}

然后将您的 HttpClient 代码放在单独的方法中：

private static async Task<HttpStatusCode> GetStatusCodeAsync(object url, CancellationToken token)
{
    try
    {
        // Your HttpClient code
        // ...
        await <things>;
        // (pass token on to methods that support it)
        // ...
        return httpStatusCode;
    }
    catch (Exception e)
    {
        // Don't rethrow if you handle everything here
        return HttpStatusCode.Unused; // (or whatever)
    }
}