控制线程数（不是任务）

Question

我有一个文件列表，我需要运行的每个文件（PCAP 文件 - 传输数据包）都有自己的运行时间。

因为我想要处理超过 1 个并行文件的选项，所以我使用这个函数来获取 IEnumerable<string> source 和最大并行线程数：

  public void doWork(IEnumerable<string> _source, int parallelThreads)
    {
        _tokenSource = new CancellationTokenSource();
        var token = _tokenSource.Token;
        Task.Factory.StartNew(() =>
        {
            try
            {
                Parallel.ForEach(_source,
                    new ParallelOptions
                    {
                        MaxDegreeOfParallelism = parallelThreads //limit number of parallel threads 
                    },
                    file =>
                    {
                        if (token.IsCancellationRequested)
                            return;
                        //process my file...
                    });
            }
            catch (Exception)
            { }

        }, _tokenSource.Token).ContinueWith(
                t =>
                {
                    //finish all the list...
                }
            , TaskScheduler.FromCurrentSynchronizationContext() //to ContinueWith (update UI) from UI thread
            );
    }

例如，如果我有 10 个文件的列表并且我的最大并行线程数是 4，那么我的程序开始并行传输 4 个文件，并且在第一个文件完成后，另一个文件自动启动，如果我传输所有文件，这很好用我的清单 1 次。

在添加了循环播放所有列表的选项后，我遇到了一个问题，例如，如果我想播放所有列表两次，则在第一个循环结束后第二个开始，在第一个文件完成后在此循环中完成所有UI 卡住了，没有响应。 我和朋友谈过他是 C# 开发人员，他告诉我这可能是任务已知问题，有时会陷入僵局。 是否可以使用另一个类而不是任务？

Answer 1

您不应该将Parallel.ForEach 用于文件 IO。这不是 cpu 密集型任务。您应该能够一个接一个地开始所有任务。这样，您将使用更少的线程，并且您的应用程序将更具可扩展性。

更新示例：

public static void doWork(IEnumerable<string> _source, int numThreads)
{
    var _tokenSource = new CancellationTokenSource();

    List<Task> tasksToProcess = new List<Task>();
    foreach (var file in _source)
    {
        tasksToProcess.Add( Task.Factory.StartNew(() =>
                              {
                                  Console.WriteLine("Processing " + file );
                                  //do file operation
                                  Thread.Sleep(5000);

                                  Console.WriteLine("Finished Processing " + file);
                              },
                          _tokenSource.Token));

        if(tasksToProcess.Count % numThreads == 0)
        {
            Console.WriteLine("Waiting for tasks");

            Task.WaitAll(tasksToProcess.ToArray(), _tokenSource.Token);

            Console.WriteLine("All tasks finished");   
            tasksToProcess.Clear();
        }
    }             
}

void Main()
{
    var fileList = Enumerable.Range(0, 100).Select (e => "file" + e.ToString());
    doWork(fileList, 4);

    Console.ReadLine(); 
}