如何在 Spark 中将 Mahout VectorWritable 转换为 Vector

Question

我有一个来自 Mahout 生成的序列文件的 VectorWritable (org.apache.mahout.math.VectorWritable)，我想将其转换为 Vector (org.apache.spark.mllib.linalg.Vectors) 类型是 Spark。我如何在 Scala 中做到这一点？

Answer 1

假设我们有来自您的previous question 的RDD[(Text, VectorWritable)]。

import scala.collection.JavaConverters.iterableAsScalaIterableConverter

def mahoutToScala(v: org.apache.mahout.math.VectorWritable) =  {
    val scalaArray = v.get.all.asScala.map(_.get).toArray
    org.apache.spark.mllib.linalg.Vectors.dense(scalaArray)
}

rdd.map{ case (k, v) => (k.toString, mahoutToScala(v))}