使用 akka 流将数据分块写入文件

Question

我使用带有 akka 后端的 sttp lib 从服务器加载文件。 以下任一方法都会导致加载 1Gb 文件时占用大量内存：

import com.softwaremill.sttp._

val file: File = new File(...)

sttp.response(asStream[Source[ByteString, Any]])
.mapResponse { src =>
    src.runWith(FileIO.toPath(file.toPath, options, 0))
}

sttp.response(asFile(file, false))

VisualVM 绘制 1Gb 文件的顺序加载图。

是否有机会在写入后立即以块的形式写入数据并从内存中逐出块？

Answer 1

根据您的情节，您的应用程序不需要大量内存。有高达 1700 MB 的“峰值”，但在垃圾收集器运行之后，堆的使用量下降到 250 MB。 sttp 和 Akka 创建了很多短暂的对象；但是，垃圾收集器可以很好地清理您的记忆。

我使用 124 MB 内存运行您的客户端应用程序只是为了验证它不需要 2GB 堆来下载 1GB 文件：

sbt -mem 124 run

应用程序没有崩溃，它只是使用了尽可能多的可用内存。