PLINQ ForAll 在 .NET 4.0 和 4.5 中损坏

Question

我正在尝试想出一种方法，以尽可能快的方式加速组合列表中包含的大量对象。希望利用 PLINQ 我尝试了它，但这不是一个线程安全的解决方案。我在 4.0 和 4.5 的 VS2010 和 VS11Beta 中进行了测试。这是我的示例应用程序。如果您在 1-500 之间更改 BlowUp()，它通常会起作用。 500 年后车轮脱离轨道。它会在多个地方失败。有谁知道解决这个问题的最快方法？ （多维数组+PLINQ？）

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;

namespace PLinqBlowsUp
{
class Program
{
    static void Main(string[] args)
    {
        BlowUp(5000);
    }

    private static void BlowUp(int blowupNum)
    {
        try
        {
            var theExistingMasterListOfAllRowsOfData = new List<List<KeyValuePair<string, dynamic>>>();

            //Add some test data
            Enumerable.Range(0, blowupNum).AsParallel().ForAll(row => theExistingMasterListOfAllRowsOfData.Add(AddRowToMasterList(row)));


            var aNewRowOfData = new List<KeyValuePair<string, dynamic>>();
            //Add some test data
            var column = new KeyValuePair<string, dynamic>("Title", "MyTitle");
            aNewRowOfData.Add(column);

            var anotherNewRowOfData = new List<KeyValuePair<string, dynamic>>();
            //Add some test data
            var columnA = new KeyValuePair<string, dynamic>("Date", DateTime.Now);
            var columnB = new KeyValuePair<string, dynamic>("ImportantColumn", "ImportantData");
            var columnC = new KeyValuePair<string, dynamic>("VeryImportantColumn", "VeryImportantData");
            anotherNewRowOfData.Add(columnA);
            anotherNewRowOfData.Add(columnB);
            anotherNewRowOfData.Add(columnC);

            //Now the Problem
            aNewRowOfData.AsParallel().ForAll(anrod => theExistingMasterListOfAllRowsOfData.ForEach(temloarod => temloarod.Add(anrod)));
            anotherNewRowOfData.AsParallel().ForAll(anrod => theExistingMasterListOfAllRowsOfData.ForEach(temloarod => temloarod.Add(anrod)));

            //Test for number
            foreach (var masterRow in theExistingMasterListOfAllRowsOfData)
            {
                if (masterRow.Count != 7)
                    throw new Exception("BLOW UP!!!");
            }
        }
        catch (AggregateException ex)
        {
            Console.WriteLine(ex.Message);
        }
    }

    private static List<KeyValuePair<string, dynamic>> AddRowToMasterList(int row)
    {
        var columnA = new KeyValuePair<string, dynamic>("FirstName", "John" + row.ToString());
        var columnB = new KeyValuePair<string, dynamic>("LastName", "Smith" + row.ToString());
        var columnC = new KeyValuePair<string, dynamic>("Ssn", 123456789 + (row*10));

        var list = new List<KeyValuePair<string, dynamic>>();
        list.Add(columnA);
        list.Add(columnB);
        list.Add(columnC);
        return list;
    }
}
}

Answer 1

这与 PLinq 无关 - 将项目添加到 List<T> 根本不是线程安全的。一个会降低性能的可行解决方案是引入锁定。相反，您通常想要做的是投射到一个 new 集合作为您的 PLinq 语句的结果 - 像您所做的那样引入副作用并不符合 Linq / 函数式编程的精神，并且你可能会遇到麻烦（就像你一样）。

Answer 2

我发现了两个问题。

• 您正在从多个线程调用theExistingMasterListOfAllRowsOfData 实例上的Add，而没有任何尝试同步对其的访问。
• 您正在多个线程中对单个 List<KeyValuePair<string, dynamic>> 项目调用 Add，而没有任何尝试同步它们。

您可以使用lock 来保护Add 方法，或者改用ConcurrentBag。但是，这些选项都不是那么好。这里的问题是这种操作不能很好地并行化，因为所有线程最终都会竞争同一个锁。我高度怀疑即使是低锁定 ConcurrentBag 最终也会比您刚刚在 PLINQ 上启动并在主线程上完成所有操作时要慢。

Answer 3

PLinq 不能替代编写线程安全代码。您对theExistingMasterListOfAllRowsOfData 的访问不是线程安全的，因为线程池中的所有线程都在访问它。您可以尝试锁定它，这为我解决了问题：

Enumerable.Range(0, blowupNum).AsParallel().ForAll(row => {
    lock (theExistingMasterListOfAllRowsOfData) {                 
        theExistingMasterListOfAllRowsOfData.Add(AddRowToMasterList(row));
    }
});

但是，锁定可能不是您所追求的，因为这会引入瓶颈。