这个 LinQ 语句可以运行多线程吗 - 使用更多的 cpu 内核

Question

我已经写了下面的 linq 语句。但是由于行数太多，因此需要大量时间来处理。我的 cpu 有 8 个内核，但由于运行单线程而只使用 1 个内核。

所以我想知道这个最后的语句是否可以在多线程中运行？

        List<string> lstAllLines = File.ReadAllLines("AllLines.txt").ToList();
        List<string> lstBannedWords = File.ReadAllLines("allBaddWords.txt").
Select(s => s.ToLowerInvariant()).
Distinct().ToList();

我问的是下面的那个。那条线可以多线程工作吗？

        List<string> lstFoundBannedWords = lstBannedWords.Where(s => lstAllLines.
SelectMany(ls => ls.ToLowerInvariant().Split(' ')).
Contains(s)).
        Distinct().ToList();

C# 5，网络框架 4.5

Answer 1

下面的 sn-p 可以使用 Parallel Tasks Library's Parallel.ForEach 方法执行该操作。下面的 sn-p 获取您拥有的“所有行”文件中的每一行，将其拆分为空格，然后在每一行中搜索禁用词。 Parallel-ForEach 应该使用您机器处理器上的所有可用内核。希望这会有所帮助。

System.Threading.Tasks.Parallel.ForEach(
    lstAllLines,
    line =>
    {
        var wordsInLine = line.ToLowerInvariant().Split(' ');
        var bannedWords = lstBannedWords.All(bannedWord => wordsInLine.Contains(bannedWord));
        // TODO: Add the banned word(s) in the line to a master list of banned words found.
    });

Answer 2

在求助AsParallel之前还有性能提升空间

HashSet<string> lstAllLines = new HashSet<string>(
                                File.ReadAllLines("AllLines.txt")
                                    .SelectMany(ls => ls.ToLowerInvariant().Split(' ')));

List<string> lstBannedWords = File.ReadAllLines("allBaddWords.txt")
                                    .Select(s => s.ToLowerInvariant())
                                    .Distinct().ToList();

List<string> lstFoundBannedWords = lstBannedWords.Where(s => lstAllLines.Contains(s))
                                    .Distinct().ToList();

由于对 HasSet 的访问是 O(1) 和 lstBannedWords 是较短的列表，您甚至可能不需要任何并行性 (TotalSearchTime=lstBannedWords.Count*O(1))。最后，您始终可以选择AsParallel