如何动态生成大数据流

Question

我必须即时生成一个大文件。读取数据库并将其发送给客户端。 我阅读了一些文档并做到了这一点

val streamContent: Enumerator[Array[Byte]] = Enumerator.outputStream {
        os => 
              // new PrintWriter() read from database and for each record 
              // do some logic and write
              // to outputstream
      }
      Ok.stream(streamContent.andThen(Enumerator.eof)).withHeaders(
              CONTENT_DISPOSITION -> s"attachment; filename=someName.csv"
        )

我对 scala 比较陌生，一般来说只有一周时间，所以不要为我的声誉提供指导。

我的问题是：

1) 这是最好的方法吗？我发现如果我有一个大文件，这将加载到内存中，并且在这种情况下也不知道块大小是多少，如果它会为每个 write() 发送不方便。

2) 我发现这个方法Enumerator.fromStream(data : InputStream, chunkedSize : int) 稍微好一点，因为它有一个块大小，但我没有 inputStream 因为我是动态创建文件的。

Answer 1

docs for Enumerator.outputStream中有注释：

不是 [sic!] 调用 write 不会阻塞，所以如果被馈送到的迭代器消耗输入的速度很慢，OutputStream 将不会推回。这意味着它不应该用于大型流，因为存在内存不足的风险。

是否会发生这种情况取决于您的情况。如果您可以并且将在几秒钟内生成千兆字节，您可能应该尝试不同的方法。我不确定是什么，但我将从Enumerator.generateM() 开始。但是，对于许多情况，您的方法非常好。看看at this example by Gaëtan Renaudeau for serving a Zip file that's generated on the fly in the same way you're using it:

val enumerator = Enumerator.outputStream { os =>
  val zip = new ZipOutputStream(os);
  Range(0, 100).map { i =>
    zip.putNextEntry(new ZipEntry("test-zip/README-"+i+".txt"))
    zip.write("Here are 100000 random numbers:\n".map(_.toByte).toArray)
    // Let's do 100 writes of 1'000 numbers
    Range(0, 100).map { j =>
      zip.write((Range(0, 1000).map(_=>r.nextLong).map(_.toString).mkString("\n")).map(_.toByte).toArray);
    }
    zip.closeEntry()
  }
  zip.close()
}
Ok.stream(enumerator >>> Enumerator.eof).withHeaders(
  "Content-Type"->"application/zip", 
  "Content-Disposition"->"attachment; filename=test.zip"
)

请注意，在 Play 的较新版本中，Ok.stream 已替换为 Ok.chunked，以防您想升级。

至于块大小，您始终可以使用Enumeratee.grouped 来收集一堆值并将它们作为一个块发送。

val grouper = Enumeratee.grouped(  
  Traversable.take[Array[Double]](100) &>> Iteratee.consume()  
)

然后你会做类似的事情

Ok.stream(enumerator &> grouper >>> Enumerator.eof)