FlinkML 0.10.1 用于训练的稀疏向量的多元线性回归答案

【问题标题】：FlinkML 0.10.1 Multiple Linear Regression with Sparse Vectors for TrainingFlinkML 0.10.1 用于训练的稀疏向量的多元线性回归
【发布时间】：2016-02-03 19:28:53
【问题描述】：

全部，

我正在尝试通过执行此处所述的线性回归来测试 Flink ML 0.10.1：

https://ci.apache.org/projects/flink/flink-docs-master/libs/ml/multiple_linear_regression.html

我使用的是 SparseVectors 而不是 DenseVector，但是在尝试训练模型时遇到了这个问题：

java.lang.IllegalArgumentException: axpy only supports adding to a dense vector but got type class org.apache.flink.ml.math.SparseVector.
    at org.apache.flink.ml.math.BLAS$.axpy(BLAS.scala:60)
    at org.apache.flink.ml.optimization.GradientDescent$$anonfun$org$apache$flink$ml$optimization$GradientDescent$$SGDStep$2.apply(GradientDescent.scala:181)
    at org.apache.flink.ml.optimization.GradientDescent$$anonfun$org$apache$flink$ml$optimization$GradientDescent$$SGDStep$2.apply(GradientDescent.scala:177)
    at org.apache.flink.api.scala.DataSet$$anon$7.reduce(DataSet.scala:583)
    at org.apache.flink.runtime.operators.chaining.ChainedAllReduceDriver.collect(ChainedAllReduceDriver.java:93)
    at org.apache.flink.runtime.operators.MapDriver.run(MapDriver.java:97)
    at org.apache.flink.runtime.operators.BatchTask.run(BatchTask.java:489)
    at org.apache.flink.runtime.iterative.task.AbstractIterativeTask.run(AbstractIterativeTask.java:144)
    at org.apache.flink.runtime.iterative.task.IterationIntermediateTask.run(IterationIntermediateTask.java:92)
    at org.apache.flink.runtime.operators.BatchTask.invoke(BatchTask.java:354)
    at org.apache.flink.runtime.taskmanager.Task.run(Task.java:584)
    at java.lang.Thread.run(Thread.java:745)

FlinkML MLG 不支持 SparseVectors 吗？

【问题讨论】：

标签： vector sparse-matrix logistic-regression apache-flink flinkml

【解决方案1】：

问题在于GradientDescent 实现期望梯度向量的总和是密集的。这不是一个很强的限制，因为对一组稀疏向量求和的结果不必再次稀疏。此外，通常将第一个梯度向量转换为密集向量，然后向其添加以下稀疏梯度向量，而不是一直添加 2 个稀疏向量，效率更高。

我已经打开了pull request 来解决这个问题。应该会在接下来的几天内合并。

【讨论】：

【解决方案2】：

我检查了来源，它看起来像这样。那里有一个明确的类型检查，左向量稀疏的情况会引发该错误。代码真的很丑，所以它可能只是一个临时版本，随着时间的推移会得到改进。你应该在邮件列表中指出它或在 JIRA 上打开一个问题。

【讨论】：