如何有效地从大型文本文件中删除重复行？

Question

我想编辑一个文本，因为其中每一行都存在一次。每行始终包含 10 个字符。我通常处理 5-6 百万行。所以我目前使用的代码消耗了太多的内存。

我的代码：

File.WriteAllLines(targetpath, File.ReadAllLines(sourcepath).Distinct())

那么我怎样才能同时减少 RAM 消耗和时间消耗？

Answer 1

考虑到how much memory a string will take in C#，并假设我们得到的 600 万条记录的长度为 10 个字符：

• 以字节为单位的大小 ~= 20 + (length / 2 ) * 4;
• 以字节为单位的总大小 ~= (20 + ( 10 / 2 ) * 4 )* 6000000 = 240 000 000
• 以 Mb 为单位的总大小 ~= 230

现在，即使在 x86（32 位系统）上，230 MB 的空间也不是问题，因此您可以将所有数据加载到内存中。 为此，我将使用HashSet class，这显然是一个哈希集，可以让您在添加元素之前使用查找轻松消除重复项。

就时间复杂度的大 O 表示法而言，在哈希集中查找的平均性能为 O(1)，这是您可以获得的最佳性能。总共，您将使用查找 N 次，总计 N * O(1) = O(N)

根据 空间复杂度的大 O 表示法，您将使用 O(N) 空间，这意味着您使用的内存与元素数量成正比，这也是你能得到的最好的。

我不确定如果您在 C# 中实现算法并且不依赖任何外部组件（这也将至少使用 O(N)），是否可以使用更少的空间

话虽如此，您可以通过逐行顺序读取文件来优化一些场景，请参阅here。 如果您有很多重复项，这会产生更好的结果，但最坏的情况是所有行都不同时会消耗相同数量的内存。

最后一点，如果你看看 Distinct 方法是如何实现的，你会发现它也使用了哈希表的实现，虽然不是同一个类，但性能还是大致相同的，查看this question了解更多详情。

Answer 2

正如ironstone13 纠正我的那样，HashSet 没问题，但确实存储了数据。 那么这也可以正常工作：

        string[] arr = File.ReadAllLines("file.txt");
        HashSet<string> hashes = new HashSet<string>();

        for (int i = 0; i < arr.Length; i++)
        {
            if (!hashes.Add(arr[i])) arr[i] = null;
        }

        File.WriteAllLines("file2.txt", arr.Where(x => x != null));

此实现的动机是内存性能和哈希冲突。 主要思想是只保留散列，当然它必须返回文件以获取它认为是散列冲突/重复的行，以检测它是哪一个。 （那部分没有实现）。

class Program
{
    static string[] arr;
    static Dictionary<int, int>[] hashes = new Dictionary<int, int>[1]
    { new Dictionary<int, int>() }
    ;
    static int[] file_indexes = {-1};


    static void AddHash(int hash, int index)
    {
        for (int h = 0; h < hashes.Length; h++)
        {
            Dictionary<int, int> dict = hashes[h];
            if (!dict.ContainsKey(hash))
            {
                dict[hash] = index;
                return;
            }
        }
        hashes = hashes.Union(new[] {new Dictionary<int, int>() {{hash, index}}}).ToArray();
        file_indexes = Enumerable.Range(0, hashes.Length).Select(x => -1).ToArray();
    }

    static int UpdateFileIndexes(int hash)
    {
        int updates = 0;
        for (int h = 0; h < hashes.Length; h++)
        {
            int index;
            if (hashes[h].TryGetValue(hash, out index))
            {
                file_indexes[h] = index;
                updates++;
            }
            else
            {
                file_indexes[h] = -1;
            }
        }
        return updates;
    }

    static bool IsDuplicate(int index)
    {
        string str1 = arr[index];
        for (int h = 0; h < hashes.Length; h++)
        {
            int i = file_indexes[h];
            if (i == -1 || index == i) continue;
            string str0 = arr[i];
            if (str0 == null) continue;
            if (string.CompareOrdinal(str0, str1) == 0) return true;
        }
        return false;
    }


    static void Main(string[] args)
    {
        arr = File.ReadAllLines("file.txt");

        for (int i = 0; i < arr.Length; i++)
        {
            int hash = arr[i].GetHashCode();

            if (UpdateFileIndexes(hash) == 0) AddHash(hash, i);
            else if (IsDuplicate(i)) arr[i] = null;
            else AddHash(hash, i);
        }

        File.WriteAllLines("file2.txt", arr.Where(x => x != null));



        Console.WriteLine("DONE");
        Console.ReadKey();
    }
}

Answer 3

在您编写数据之前，如果您的数据在列表或字典中，您可以运行 LINQ 查询并使用 group by 对所有类似的键进行分组。然后每次写入输出文件。

你的问题也有点模糊。您是否每次都创建下一个文本文件并且必须以文本形式存储数据？有更好的格式可以使用，例如 XML 和 json