如何使用以 LibSVM 格式训练的 Spark MLlib 模型进行预测

Question

我使用 LibSVM 格式的训练数据文件训练我的模型，如此处所述http://spark.apache.org/docs/2.2.0/mllib-linear-methods.html。具体我用了这部分

val data = MLUtils.loadLibSVMFile(sc, "data/mllib/sample_libsvm_data.txt")

// Split data into training (60%) and test (40%).
val splits = data.randomSplit(Array(0.6, 0.4), seed = 11L)
val training = splits(0).cache()
val test = splits(1)

// Run training algorithm to build the model
val model = new LogisticRegressionWithLBFGS()
  .setNumClasses(10)
  .run(training)

但我的问题是，您如何为在预测时以这种方式训练的模型准备特征？我想出的解决方案是以 libsvm 格式保存一个中间文件（使用虚拟标签，因为我只想预测）并使用 MLUtils.loadLibSVMFile 加载它，然后将结果应用于训练模型以进行预测。然而，这种策略效率很低，而且在我的系统中，这需要非常昂贵的collect() 调用。有什么方法可以将我的数据放入正确的LabeledPoint 格式，而无需先将其放入 LibSVM 格式（需要中间文件）？我希望我不必深入了解MLUtils.loadLibSVMFile 的内部结构来弄清楚如何将libSVM 格式的行转换为LabeledPoint 对象。

PS：看起来 Spark 的 ML 管道是一种更好的方法，但我不想放弃我迄今为止所做的所有工作，并在可以帮助的情况下尝试该策略。

Answer 1

当您完成模型训练并只想使用它进行预测时，您不需要拥有LabeledPoint 格式的数据。您唯一需要的是一个向量（密集或稀疏，请参阅here 了解更多信息）来进行预测。

val prediction = model.predict(features)

当然，也可以转换为LabeledPoint，尽管不是必须的。一个小例子：

val rdd = sc.parallelize(Array(
    (1, List(1.0,4.0,8.0)),
    (2, List(3.0,3.0,8.0)),
    (3, List(5.0,5.0,9.0))))

val rdd2 = rdd.map{ case(k, vs) => 
  LabeledPoint(k.toDouble, Vectors.dense(vs.toArray))
}

---

可以在 LibSVM 格式和 Spark 向量之间进行转换。在您的 LibSVM 文件中，每一行的格式如下：

<label> <index1>:<value1> <index2>:<value2> ... <indexN>:<valueN>

索引其中是特征向量中的索引（训练和预测的顺序相同）。 MLUtils.loadLibSVMFile() 将在此之后创建 LabeledPoint，即每个LabeledPoint 将如下所示：

LabeledPoint(label, Vectors.sparse(N, Array(index1-1, index2-1, ...), Array(value1, value2, ...)))

示例中使用了SparseVector，因为 LibSVM 文件同时指定了索引和值。

在 LibSVM 中，索引从 1 开始，而更常见的约定（包括创建SparseVector）是从 0 开始，因此，在从 LibSVM 格式转换时，需要从索引中减去 1。

按照此操作，您可以轻松地自己创建向量来进行预测。