【问题标题】:Risks of changing flushes frequency改变冲洗频率的风险
【发布时间】:2019-02-14 16:47:43
【问题描述】:

通过iostat,我可以发现每分钟一次的磁盘写入峰值。我认为这些峰值是由fsync 引起的,因为 MongoDB 默认每 60 秒刷新一次数据到磁盘。 我还可以发现慢查询日志中出现了与峰值相一致的慢查询。

有一个名为 storage.syncPeriodSecs 的选项,但根据文档:

不要在生产系统上设置此值。在几乎所有情况下,您都应该使用默认设置。

更频繁地执行 fsync 可以减少峰值,所以我想知道在生产中更改此值的风险。

如果有任何想法,我将不胜感激。

详情:

  • MongoDB 版本: 3.2.16

  • 存储引擎:WiredTiger

  • 峰值期间查询速度慢:其中几个,大约 1 秒。 不停止服务器

  • 部署:分片集群。具有两个成员(主要 + 次要)的副本集

  • 规格:CPU 8 核,内存 64GB,SSD 磁盘

【问题讨论】:

  • 请发布更多详细信息:1)您使用的是 WiredTiger 还是 MMAPv1 存储引擎,2)慢查询有多慢,是否涉及整个服务器的“停顿”,3)这是一个独立部署或副本集,4)如果是副本集,这发生在主节点还是辅助节点上,5)您的 MongoDB 版本,6)如何配置硬件(RAM、cpu 等)
  • 感谢您的评论!,关于storage.syncPeriodSecs风险的一般回答是好的,但我用细节编辑了我的问题:)
  • @AntonioVal 你能解决这个问题吗?
  • @bestwishes 终于解决了,改进了规格,但这并不是真正的解决方案。

标签: mongodb performance flush database-tuning fsync


【解决方案1】:

WiredTiger 存储引擎每 60 秒执行一次checkpoint。听起来您的部署在这些检查点事件中遇到了困难。如果您正在对(可能)配置不足的硬件进行大量写入负载,则您看到的这种行为很典型。

通常不建议在生产环境中更改syncPeriodSecs 值,因为默认值被认为是在内存使用量、fsync 事件数量、fsync 事件之间丢失数据的可能性之间的正确平衡。崩溃,以及典型硬件配置中的其他注意事项。

更改此值可能会使失速变得更糟。您当然可以通过更改它(更低或更高)来做一些实验,看看它是否可以“平滑” fsync 事件。话虽如此,这是一种高级调整机制,最好在其他选项不再可用时保留。如果可能的话,通常可以通过配置更好的硬件来解决此类停顿,因为当前的硬件似乎在您期望它处理的负载下挣扎。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2015-07-06
    • 2019-06-01
    • 2021-10-15
    • 2012-02-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多