【问题标题】:Performance Issue on Inserting Data using Elastic Search Nest使用 Elastic Search Nest 插入数据的性能问题
【发布时间】:2016-12-16 05:57:54
【问题描述】:

我们正在为我们的应用程序使用 Elastic Search Nest 客户端,我们对将文档插入 Elastic Search DB 进行了负载测试测试,发现存在性能问题。

索引大小 2Kb,分片数 5,副本 1,单实例数据库(无集群)

最终结果统计数据,我们每秒只能插入 3 条记录。这是预期的结果吗?

当我们增加客户端线程时,结果变成每秒 2 条记录,请建议

测试用例

5个并行线程,每个线程同步推送记录(10000条)。大约需要50分钟(每个线程),每秒插入3条记录。

我在应用程序启动时创建了 N(本测试用例为 5)个客户端,并将其重用于所有请求。

服务器详情: 16GB RAM,64 位操作系统,Intel Core i7,Windows Server 2008 R2,500GB 硬盘

客户端机器: 16GB RAM,64 位操作系统,Intel Core i7,Windows 7 专业版

【问题讨论】:

    标签: elasticsearch nest elasticsearch-net


    【解决方案1】:

    如果您不使用批量 API,您将无法获得良好的性能。 从 5.0 开始,我们fsync 磁盘上的每个请求。

    可以包含例如 10 000 个索引请求的批量请求将是一次 fsync。 10 000 个索引请求将产生 10 000 个 fsync 操作。

    例如,在我的数据集上,从 2.x 切换到 5.x,我观察到以下结果:

    • 单索引操作:

      • 2.x:200 文档/秒
      • 5.0:20 文档/秒
    • 批量操作:

      • 2.x:12000-15000 文档/秒
      • 5.0:12000-16000 文档/秒

    如果您希望将index.translog.durability 索引设置更改为async,您可以这样做,但如果出现问题,您将承担数据丢失的风险。

    阅读更多关于Translog的信息

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-08-25
      • 1970-01-01
      • 2017-01-13
      • 2020-10-30
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多