【问题标题】:Bulk insert efficiency in NoSQL databases [closed]NoSQL 数据库中的批量插入效率 [关闭]
【发布时间】:2011-03-09 06:11:48
【问题描述】:

我正在开发一项服务,该服务需要一次执行数万行/项目/对象的批量插入,大约每秒 20 次。

(NoSQL 存储可以分片,因此插入可以并行工作。分片策略和一般分片在本次讨论中无关紧要。)

问题是:您认为哪些 NoSQL 产品在这种情况下表现出最佳性能?答案应该包括所有成本,包括闲聊/简洁协议的序列化和开销。

存储不需要持久化。

谢谢!

【问题讨论】:

    标签: architecture nosql bulkinsert performance


    【解决方案1】:

    我很确定您想要 MongoDB(如果您想要分片,请使用 1.5.x 版本 - 忽略它尚未准备好生产的警告)。

    【讨论】:

    • 我的基准测试表明 mongodb 比其他任何东西都快得多,并且分片很好,ymmv ;-) 根本原因是它的编写考虑了效率 - 在真正的现代硬件上。没有不必要的抽象层,例如 SQL/JDBC/whatever。没有 ACID - 只是每个文档的原子性,这对于许多情况来说已经足够了。最重要的是 - 它不会像所有其他数据库一样尝试完成操作系统的工作 - 它mmaps 一切并让硬件 MMU 和操作系统进行内存管理。 This alone tends to give you 3x+ speedup for free.
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-05-17
    • 2023-03-03
    • 2011-01-14
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多