使用“Task.WhenAll”时如何控制线程数

Question

我正在通过异步发出 http get 请求来验证图像 URL。下面的代码一切正常，但是当我有这么多图像时，我们的防火墙将阻止我的互联网访问，因为有太多线程同时请求。因此，我一直在寻找一种解决方案，如何限制并发运行的线程数。我最终得到了这个thread 告诉我使用SemaphoreSlim 但我不知何故无法理解这个想法以及如何实现这个？

• 在添加任务时，SemaphoreSlim wait 或 waitAsnyc（有什么区别？）是否应该在 foreach 中？我可以像在代码中那样使用 linq 创建任务列表吗？
  • 为什么会用到task.Run？
  • 线程在执行哪一行之后开始？在 task.run 或 task.whenall 之后？

如果这不是最好的方法，请提出更好的方法。我不确定将 MaxDegreeOfParallelism 与 parallel.foreach 一起使用是否也有意义？

  Dim tasks = myImages.Select(Function(x) testUrl_async(x))
  Dim results = Await Task.WhenAll(tasks)

Async Function testUrl_async(ByVal myImage  As image) As Task(Of image)
   Dim myImageurl as string=myImage.imageurl
   myHttpResponse = Await myHttpClient.GetAsync(myImageurl)
    If myHttpResponse.IsSuccessStatusCode Then
        Return myImage
    Else
        Return Nothing
    End If
End Function

Answer 1

由于并发请求的线程太多，我们的防火墙将阻止我的 Internet 访问。因此，我一直在寻找一种解决方案，如何限制并发运行的线程数。

很确定防火墙正在限制您的连接数，因此您想限制您的连接数（不是线程） .

是 SemaphoreSlim wait 还是 waitAsnyc（到底有什么区别？）

Wait 是同步等待 - 它阻塞调用线程。 WaitAsync 是一个异步等待 - 它释放调用线程并在信号量可用时继续执行当前方法。

在添加任务时应该在 foreach 中吗？我可以像在代码中那样使用 linq 创建任务列表吗？

您可以采用任何一种方式：明确地建立一个列表，或者使用 LINQ。

为什么会用到task.Run？

那是那个答案的错误。 Task.Run 这里当然不需要或不需要。

线程在哪一行执行后开始？在 task.run 或 task.whenall 之后？

当您调用Task.Run 时，该委托会立即排队到线程池中。但正如我上面所说，您不想使用Task.Run（它也不应该在原始答案中使用）。

---

所以，这样的事情就足够了：

Private _mutex As New SemaphoreSlim(20)
Async Function testUrl_async(myImage As image) As Task(Of image)
    Await _mutex.WaitAsync()
    Try
        Dim myImageurl = myImage.imageurl
        Dim myHttpResponse = Await myHttpClient.GetAsync(myImageurl)
        Return If(myHttpResponse.IsSuccessStatusCode, myImage, Nothing)
    Finally
        _mutex.Release()
    End Try
End Function

Answer 2

您可以像这样使用Task 和SemaphoreSlim：

var MaxAllowedConcurrentRequestsCount = 20;
var guard = new SemaphoreSlim(0, MaxAllowedConcurrentRequestsCount);
foreach(var imageUrl in imageUrls)
{
    guard.Wait()
    var image = await Task.Factory.StartNew((imageUrl) => return myHttpClient.Get(imageUrl));
    guard.Release();
    // You can do whaterver you like with image. For example add it to you concurrent list.
}

Answer 3

我假设您不在 WPF 或 Windows 窗体线程中。如果您在await 之后将只有一个线程在工作。

由于我们假设您不在这些线程中，ThreadPool 用于在await 之后执行延续。您可以使用ThreadPool.SetMaxThreads 更改池使用的线程数量，但我建议您不要这样做，让.NET 来做正确的事情。这通常是最好的方法。