【问题标题】:Does Python's shelve module use memory-mapped IO?Python 的搁置模块是否使用内存映射 IO?
【发布时间】:2010-04-11 22:18:52
【问题描述】:

有谁知道 Python 的 shelve 模块是否使用内存映射 IO?

也许这个问题有点误导。我意识到shelve 使用底层 dbm 样式的模块来完成其肮脏的工作。底层模块使用mmap的几率有多大?

我正在对数据存储进行原型设计,虽然我意识到过早的优化通常是不受欢迎的,但这确实可以帮助我理解设计中涉及的权衡。

【问题讨论】:

    标签: python mmap shelve dbm


    【解决方案1】:

    Python 标准库中现有的dbm 实现都使用“普通”I/O,而不是内存映射。您需要使用内存映射编写自己的dbmish 实现,并将其与shelve 集成(直接,或者更有效地,通过anydbm)。

    【讨论】:

    • 我很确定 BerkeleyDB 使用 mmap(),如果只是这样它可能会在意想不到的地方中断:) 我还看到了使用 mmap 的 dbm 实现。
    【解决方案2】:

    我不确定您通过问这个问题想要了解什么,因为您似乎已经知道答案:这取决于所使用的实际 dbm 存储。他们中的一些人会使用 mmap——我希望除了dumbdbm 之外的所有东西都使用 mmap——但那又如何呢? shelve 中的开销几乎肯定不是在 mmap-versus-fileIO 选择中,而是在酸洗操作中。在任何一种情况下,您都不能自己明智地映射 dbm 文件,因为 dbm 模块可能有自己的花哨的锁定(而且它可能不是单个文件,就像它使用 bsddb 时一样。)

    如果您只是在为自己的数据存储寻找灵感,那么请不要查看搁置,因为它所做的只是将腌制并传递到另一个数据存储。

    【讨论】:

      猜你喜欢
      • 2011-04-22
      • 2017-11-18
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2012-03-28
      • 1970-01-01
      • 2017-11-26
      相关资源
      最近更新 更多