scala读取大文件

Question

您好，我正在寻找最快的蝙蝠而不是高级的方式来处理大型数据收集。 我的任务包括两个任务，读取内存中的大量大文件，然后进行一些统计计算（在此任务中处理数据的最简单方法是随机访问数组）。

我的第一种方法是使用java.io.ByteArrayOutputStream，因为它可以调整其内部存储的大小。

def packTo(buf:java.io.ByteArrayOutputStream,f:File) = {
  try {
    val fs = new java.io.FileInputStream(f)
    IOUtils.copy(fs,buf)
  } catch  {
    case e:java.io.FileNotFoundException =>
  }
}

    val buf = new java.io.ByteArrayOutputStream()
    files foreach { f:File  => packTo(buf,f) } 
    println(buf.size())

    for(i <- 0 to buf.size()) {
       for(j <- 0 to buf.size()) {
          for(k <- 0 to buf.size()) {
       //  println("i  " + i + "  " + buf[i] );
                   // Calculate something amathing using buf[i] buf[j] buf[k] 
          }
       }
    }

    println("amazing = " + ???)

但ByteArrayOutputStream 无法让我成为byte[] 的唯一副本。但我不能允许有 2 个数据副本。

Answer 1

你试过scala-io吗？应该和Resource.fromFile(f).byteArray 一样简单。

Answer 2

Scala 的内置库已经提供了一个很好的 API 来执行此操作

io.Source.fromFile("/file/path").mkString.getBytes

但是，将整个文件作为字节数组加载到内存中通常不是一个好主意。请确保尽可能大的文件仍能正确放入您的 JVM 内存中。