c#中并行读取和处理100个文本文件

Question

我有一个项目可以读取 100 个文本文件，其中包含 5000 个单词。

我将单词插入到列表中。我有第二个列表，其中包含英语停用词。我比较两个列表并从第一个列表中删除停用词。

运行应用程序需要 1 小时。我想并行化它。我该怎么做？

这是我的代码：

    private void button1_Click(object sender, EventArgs e)
    {

        List<string> listt1 = new List<string>();
        string line;

        for (int ii = 1; ii <= 49; ii++)
        {

            string d = ii.ToString();
            using (StreamReader reader = new StreamReader(@"D" + d.ToString() + ".txt"))

            while ((line = reader.ReadLine()) != null)
            {

                string[] words = line.Split(' ');
                for (int i = 0; i < words.Length; i++)
                {
                    listt1.Add(words[i].ToString());



                }
            }

            listt1 = listt1.ConvertAll(d1 => d1.ToLower());

            StreamReader reader2 = new StreamReader("stopword.txt");
            List<string> listt2 = new List<string>();
            string line2;
            while ((line2 = reader2.ReadLine()) != null)
            {
                string[] words2 = line2.Split('\n');
                for (int i = 0; i < words2.Length; i++)
                {
                    listt2.Add(words2[i]);

                }
                listt2 = listt2.ConvertAll(d1 => d1.ToLower());

            }

            for (int i = 0; i < listt1.Count(); i++)
            {
                for (int j = 0; j < listt2.Count(); j++)
                {
                    listt1.RemoveAll(d1 => d1.Equals(listt2[j]));

                }
            }
            listt1=listt1.Distinct().ToList();


            textBox1.Text = listt1.Count().ToString();
        }
    }
  }
}

Answer 1

我用你的代码解决了很多问题。我认为您不需要多线程：

    private void RemoveStopWords()
    {
        HashSet<string> stopWords = new HashSet<string>();

        using (var stopWordReader = new StreamReader("stopword.txt"))
        {
            string line2;
            while ((line2 = stopWordReader.ReadLine()) != null)
            {

                string[] words2 = line2.Split('\n');
                for (int i = 0; i < words2.Length; i++)
                {
                    stopWords.Add(words2[i].ToLower());
                }
            }
        }

        var fileWords = new HashSet<string>();

        for (int fileNumber = 1; fileNumber <= 49; fileNumber++)
        {               
            using (var reader = new StreamReader("D" + fileNumber.ToString() + ".txt"))
            {
                string line;
                while ((line = reader.ReadLine()) != null)
                {
                    foreach(var word in line.Split(' '))
                    {
                        fileWords.Add(word.ToLower());
                    }
                }
            }
        }

        fileWords.ExceptWith(stopWords);

        textBox1.Text = fileWords.Count().ToString();


    }

由于代码的结构方式，您多次阅读停用词列表，并不断添加到列表中并重新尝试删除相同的停用词。 HashSet 比 List 更符合您的需求，因为它已经处理了基于集合的操作和唯一性。

如果您仍然想使这个并行，您可以通过读取一次停用词列表并将其传递给将读取输入文件、删除停用词并返回结果列表的异步方法来做到这一点，那么您需要在异步调用返回后合并结果列表，但您最好在决定是否需要它之前进行测试，因为这比这段代码已经有更多的工作和复杂性。

Answer 2

如果我理解正确，您希望：

1. 将文件中的所有单词读入列表中
2. 从列表中删除所有“停用词”
3. 再重复 99 个文件，只保存唯一的单词

如果正确，代码很简单：

// The list of words to delete ("stop words")
var stopWords = new List<string> { "remove", "these", "words" };

// The list of files to check - you can get this list in other ways
var filesToCheck = new List<string>
{
    @"f:\public\temp\temp1.txt",
    @"f:\public\temp\temp2.txt",
    @"f:\public\temp\temp3.txt"
};

// This list will contain all the unique words from all
// the files, except the ones in the "stopWords" list
var uniqueFilteredWords = new List<string>();

// Loop through all our files
foreach (var fileToCheck in filesToCheck)
{
    // Read all the file text into a varaible
    var fileText = File.ReadAllText(fileToCheck);

    // Split the text into distinct words (splitting on null 
    // splits on all whitespace) and ignore empty lines
    var fileWords = fileText.Split(null)
        .Where(line => !string.IsNullOrWhiteSpace(line))
        .Distinct();

    // Add all the words from the file, except the ones in 
    // your "stop list" and those that are already in the list
    uniqueFilteredWords.AddRange(fileWords.Except(stopWords)
        .Where(word => !uniqueFilteredWords.Contains(word)));
}

这可以浓缩成一行，没有显式循环：

// This list will contain all the unique words from all 
// the files, except the ones in the "stopWords" list
var uniqueFilteredWords = filesToCheck.SelectMany(fileToCheck =>
    File.ReadAllText(fileToCheck)
        .Split(null)
        .Where(word => !string.IsNullOrWhiteSpace(word) &&
                       !stopWords.Any(stopWord => stopWord.Equals(word, 
                           StringComparison.OrdinalIgnoreCase)))
        .Distinct());

此代码在不到一秒的时间内处理了超过 100 个文件，每个文件超过 12000 个单词（WAY 不到一秒...0.0001782 秒）

Answer 3

我在这里看到的一个可以帮助提高性能的问题是listt1.ConvertAll() 将在列表中以 O(n) 运行。您已经在循环将项目添加到列表中，为什么不在那里将它们转换为小写。另外为什么不将单词存储在哈希集中，这样您就可以在 O(1) 中查找和插入。您可以将停用词列表存储在哈希集中，当您阅读文本输入时，查看该词是否为停用词，如果不将其添加到哈希集中以输出用户。