【发布时间】：2014-05-14 01:58:18
【问题描述】：
问题
我正在尝试对非常大的原始非规范化 CSV 表中的列进行规范化。列值是短字符串（10-100 字节）。我正在尝试找到比我目前的方法更快的解决方案。
示例
input.csv
john,london
jean,paris
bill,london
被转换为以下文件：
input.normalized.csv
1,1
2,2
3,1
input.col1.csv
1,john
2,jean
3,bill
input.col2.csv
1,london
2,paris
我目前有两种方法来规范化这些数据集。
目前的方法
内存中的单次传递
单通道方法，将列 values -> normalized_id 值存储在关联数组中（在我的例子中是 Java HashMap）。这会在某些时候耗尽内存，但是当它可以将所有内容存储在内存中时它会很快。降低内存使用的一种简单方法是每列执行一次。
多遍排序
一种基于排序的多通道方法。列值附加它们的行号，然后进行排序（以内存有效的合并排序方式）。例如，列值london,paris,london 附加了行号，然后排序：london;1,london;3,paris;2。
我现在可以有一个“唯一值计数器”，只需将每个值与之前的值进行比较（例如，伦敦 == 伦敦，所以不要增加唯一值计数器）。最后，我有一对 unique_id,linenum 对，我可以按行号排序以重建规范化列。然后可以一次合并列。
这种方法可以在非常有限的内存中完成，具体取决于所应用的排序算法的内存使用情况。好消息是，这种方法很容易在 hadoop 之类的东西中实现，利用它的分布式排序步骤。
我的问题
与单通道方法（或每列单通道方法）相比，多通道方法慢得令人痛苦。所以我想知道优化该方法的最佳方法是什么，或者是否有人可以提出替代方法？
我认为我正在寻找某种（分布式）键值存储，它的内存使用率尽可能低。
在我看来，使用 Trove 将是使用 Java HashMaps 的一个很好、简单的替代方案，但我想要一些可以为我处理密钥分配的东西。
Redis 可能是一个不错的选择，但我对它的每个键值对的内存使用情况并不满意。
【问题讨论】：
-
"Redis 可能是一个不错的选择，但我对它的每个键值对的内存使用情况并不满意。" -> 这完全取决于你如何使用 Redis，恕我直言。 Redis 在普通的键值对之外内置了对内存非常友好的功能。您可能想了解hyperloglog（即将发布）和bit and byte level ops（已经存在多年）。只是一个想法，我对其他选项的了解不足，无法将其发布为答案。
-
如果我需要估计唯一记录的数量，Hyperloglog 将非常有用。对于我的用例（确定句子的唯一 ID），我会冒着碰撞的风险，这是不可接受的。但是，如果调整正确，Redis 的内存效率似乎是正确的——我将不得不进一步研究。谢谢:)
-
是的，hyperloglog 对于确定性的东西没有用处。关于 mem 的使用：另请阅读 redis.conf。您可以为每个数据类型配置 redis 应切换到“更多内存/更少 cpu”内存结构的行数。除此之外，由于 mem 指针的（大小），32 位 redis 的开销低于 64 位。但是，当然还有内存上限。
-
无论如何我能够部署redis的机器只有8GB内存，所以32位redis很可能是要走的路。我还得看看我用更小的指针能赢多少:)
标签： java sorting hadoop redis key-value