使用异步和集合

Question

我希望使用 httpclient 下载大量文件，对它们执行一些耗时但不昂贵的计算，然后在运行一些显示它不存在的查询后将结果添加到我的数据库中。

我如何在概念上做到这一点（只是等待的位置等会有所帮助）

我目前有以下：

获取地址列表 添加（等待网页下载，然后继续处理）到任务列表 foreach 列表的元素，等待它，然后将其添加到数据库中。

但是，这似乎本质上是串行运行的。

这应该怎么设计？

Answer 1

我会使用TPL Dataflow 建立一个管道。您发布地址和演员是：

1. 网页下载
2. 处理中
3. 添加到数据库

尽可能使用async（只要操作是真正异步的）并设置一个较高的MaxDegreeOfParallelism以允许TPL自行选择最佳值。

Answer 2

我会让下载/处理并行运行并等待它们全部完成。代码看起来像这样：

// get a collection of "hot" Tasks running in parallel
var tasks = myCollection.Select(x => DownloadAndProcessAsync(x));

// await the completion of all Tasks
await Task.WhenAll(tasks);