在大量文本文件中编译唯一值的最有效方法是什么？答案

【问题标题】：Most efficient way to compile unique values in a massive text file?在大量文本文件中编译唯一值的最有效方法是什么？
【发布时间】：2012-03-06 18:33:37
【问题描述】：

我有一组大型文本文件，总共包含大约 300 万行。

我想要做的是从每一行的给定列中提取一个值并将其添加到内存中的数组中。如果该值已经存在于数组中，则忽略它。

我假设最快的方法不是：

我应该按字母顺序插入值以加快匹配/搜索速度吗？

或者我应该保留多个数组...例如，每个字母对应一个数组？

【问题讨论】：

【解决方案1】：

使用Set:

Set 实现了一组无重复的无序值。这是 Array 的直观互操作设施和 Hash 的快速查找的混合体。

示例用法：

require 'set'

set = Set.new
set << 1 << 2 << 3  # => #<Set: {1, 2, 3}>
set << 2            # => #<Set: {1, 2, 3}>

【讨论】：

【解决方案2】：

您可以将值作为键添加到哈希映射中，这将自动删除重复项。您甚至可以计算每个值以这种方式出现的次数（使用哈希值）。

【讨论】：