大数据集的字典接口答案

【问题标题】：dictionary interface for large data sets大数据集的字典接口
【发布时间】：2010-04-29 08:37:48
【问题描述】：

我有一组键/值（所有文本）太大而无法一次加载到内存中。我想通过类似 Python 字典的界面与这些数据进行交互。

这样的模块是否已经存在？

读取键值应该是高效的，并且值在磁盘上压缩以节省空间。

编辑：

【问题讨论】：

【解决方案1】：

看看shelve 模块。它为字典提供各种支持数据库系统，包括 BerkleyDB 和 dbm。

【讨论】：

【解决方案2】：

试试bsddb(Python bindings for Berkley db)

【讨论】：

【解决方案3】：

最终基于this existing module 创建了my own solution。

【讨论】：

【解决方案4】：

假设您在 *nix 平台上，您只是在 BEGGING for tokyo-cabinet... 它有一组原生 ruby 绑定...您可以在 1978th.net 获得更多信息...

【讨论】：