c#.net中如何在多个线程中逐行处理文件，每行一个线程？

Question

我创建了一个 c# WPF 项目，我必须处理一个包含一些记录的 csv 文件，这些记录可能不限于几百或几千或几百万。我需要读取记录行，然后处理通常需要 5 到 10 秒的记录，然后用新值更新记录。

该操作包括通过网络服务对服务器进行网络调用，然后服务器调用另一台服务器连接到权限服务器，权限服务器按照请求在同一循环中返回数据。该权限需要时间，因为它拥有一个非常大的数据库，其中包含大约十亿条记录。因此，加密解密和身份验证操作大约需要 5-10 秒才能完成。

我不能在一个线程中执行操作，因为处理整个文件可能需要几个月的时间，所以我想创建数百个线程来处理数据。我正在考虑的方法是，我正在尝试创建一个线程，该线程创建最多 100 个线程并监视它们是否有可用线程。当线程在处理后返回数据时，它会将其写入文件并创建新线程以供新行处理。

我认为的这种方法似乎太复杂了，我是否应该实施相同的方法以及我应该如何或如何解决问题。

Answer 1

这里有两个选项可以帮助您：

• Parallel LINQ
• TPL Dataflow

并行 LINQ 是更简单的选项，但提供的定制要少得多。它看起来像：

var results = File.ReadLines("input.csv")
                  .AsParallel()
                  .AsOrdered()
                  .WithDegreeOfParallelism(100)
                  .Select(ProcessLine);

File.WriteAllLines("output.csv", results);

（当然，你需要实现ProcessLine方法。）

现在这将为您提供很多并行性，但可能是通过很多时间阻塞的线程......而更复杂的解决方案最终会使用异步 IO，因此实际上您可能几乎不需要任何实际的线程。

需要注意的一点：如果您通过网络发出 web 请求，您可能需要配置您可以向主机并行发出的最大请求数。请参阅 ServicePointManager.DefaultConnectionLimit 和 <connectionManagement> 设置元素。