【问题标题】:How to explain this file write throughput performance?如何解释这个文件写入吞吐性能?
【发布时间】:2013-12-30 10:28:39
【问题描述】:

在下图1 中,绘制了用于写入具有不同记录大小的各种大小的新文件的吞吐量(KB/秒)。文件大小从 64KB 到 4GB 不等。记录大小从 4KB 到 16MB 不等。文件和记录大小是两个水平轴,吞吐量绘制在垂直轴上。 我需要了解以下两个观察结果的原因:

(1) 为什么会有两个平台:一个平台:文件大小从 128KB 到 8MB,另一个平台从 64MB 到 1GB?

(2) 为什么在文件大小 256KB 和 2MB 的范围内有 2 个峰值(甜蜜点)?

系统有 8GB RAM。我确信需要很多其他参数才能正确解释它,但仍然可以从情节中得出任何可能的推论吗?

【问题讨论】:

    标签: file-io io operating-system


    【解决方案1】:

    我会非常怀疑以下因素:

    1. 其他进程干扰

    2. 吞吐量结果不稳定。这是我首先会怀疑的。你的测量方法是什么?

    如果我要进行这样的测量,我会尝试以下方法:

    • 多次测量每个场景的吞吐量,或者在两者之间重新启动系统,或者运行一些“清理”过程以确保一个测试运行不会干扰另一个测试运行。

    • 尝试以随机模式选择场景。

    • 每个场景都有多个结果,丢弃两端(或慢端)的异常值,取其余部分的平均值(或中位数)。

    【讨论】:

    • 当然,你是对的。但无论如何,这不是我所做的方式。相反,我使用了一个名为 IOZone 的基准测试工具。无论如何,我看到了一个明确的模式,例如:注意到大于 1 GB 的文件的吞吐量突然下降。这可能是由于直接写入磁盘。
    猜你喜欢
    • 2012-08-17
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-08-01
    • 2020-11-08
    • 1970-01-01
    • 2019-01-24
    相关资源
    最近更新 更多