【发布时间】:2013-03-23 11:30:20
【问题描述】:
- 大数据存储中 IOPS 和吞吐量之间的主要区别是什么?
- 文件大小对 IOPS 有影响吗?为什么?
【问题讨论】:
标签: storage throughput
【问题讨论】:
标签: storage throughput
IOPS 衡量每秒读取和写入操作的数量,而吞吐量衡量每秒读取或写入的位数。
虽然它们测量不同的东西,但它们通常相互跟随,因为 IO 操作的大小大致相同。
如果你有大文件,你只需要更多的 IO 操作来读取整个文件。文件大小对 IOPS 没有影响,因为它衡量的是读取或写入的集群数量,而不是文件数量。
如果您有小文件,则会有更多开销,因此虽然 IOPS 和吞吐量看起来不错,但您可能会遇到较低的实际性能。
【讨论】:
IOPS - 读写操作的数量,主要用于 AWS 中用于 Cassandra 等数据库的 OLTP 事务。
吞吐量 - 是每秒传输的位数。即每秒传输的数据。 主要是大数据hadoop、kafka流等高数据传输应用的单元
【讨论】:
磁盘 IOPS 描述了磁盘上每秒输入/输出操作的计数,与块大小无关。
磁盘吞吐量描述了每秒可以传输多少数据,因此块大小在计算应用程序所需的吞吐量时起着巨大的作用
让我们以 3000 IOPS 和 SQL 数据库引擎为例,数据库引擎的块大小称为page size,对于 SQL Server,它等于 8 KB。如果您想计算实际吞吐量,如果定义了 IOPS,您将得到以下公式:
throughput = [IOPS] * [block size] = 3000 * 8 = 24 000 KB/s = 24 MB/s
【讨论】:
这是我在谈论吞吐量和 IOPS 时想到的类比。
把它想象成:
您有 4 个大小相同的水桶(磁盘块),您想装满或清空水。
您将使用水壶将水转移到水桶中。现在你的问题是:
在给定的时间(每秒),你可以倒(写)或取出(读)多少壶水?这是 IOPS。
在给定时间(每秒),水壶可以连续进出水桶的水量(bit、kb、mb 等)是多少?这是吞吐量。
此外,您倒水和/或取水的过程存在延迟。这是延迟。
在谈论 IOPS 和吞吐量时需要考虑 3 件事:
【讨论】: