如何快速将无限大小的缓冲区写入 NVMe SSD

Question

我正在开发一个应用程序，其中我有大量数据不断写入 ram，我正在尝试快速从 ram 中读取数据，并将其写入 NVMe SSD，写入完成后，我重新排队 ram允许写入的空间。

我目前的问题是数据无限期地连续写入，所以最终我的 RAM 不足以容纳所有数据，它必须被读出并存储到磁盘中。由于数据量大，写入速度标准很高（1.5G/s）。

我经常看到 mmap 被提及以提高 I/O 效率，但主要是读取效率，因为它可以防止将大数据复制到 DRAM。所以我想在我的用例中，使用 mmap 将我的 SSD 直接映射为虚拟内存并直接写入它是否比标准 fwrite 更快？

Answer 1

使用 mmap 进行写入的问题是您不知道写入何时完成甚至开始，这可能会增加驱动器必须对 LBA 执行的写入次数，因为内存已写入但未完整写入4KB chunk，写到磁盘，然后数据再次写入内存，现在需要再次写入页面。

如果您想简单，最好的办法是使用 O_DIRECT 文件并使用 write 系统调用或 aio。如果您想获得最佳速度，您可以使用 SPDK 获得对 NVMe 设备的原始访问权限，而无需内核干扰并实现完全零拷贝写入。

SPDK 是完全在用户空间中的 NVMe 设备驱动程序。这意味着您使用内核驱动程序将 PCIe BAR 映射到用户空间，告诉 SPDK 附加到 NVMe 设备，现在您可以向设备发出原始 NVMe 命令而无需任何副本。与简单的 mmap 相比，最大的优势是您可以完全控制 IO 的完成方式、顺序以及一次执行的命令数量及其大小。这意味着应用程序需要做更多的工作，但它确实为您提供了终极控制和最佳性能。