我有一个 id（标签）范围从 1 到 1040 的数据库。我正在使用多类 Logistic 回归来预测 id。现在，如果我只想训练标签的一个子集，比如说从 800 到 810。当我为 11 个类设置 setNumClasses(11) 时出现错误。我必须始终将此方法设置为类的最大值，即 1040。这样训练模型将针对从 0 到 1040 的所有标签进行训练，这非常昂贵并且使用大量资源。
我理解的对吗？如何通过给定 setNumClasses(count_of_classes) 仅针对标签子集训练我的模型。
final LogisticRegressionModel model = new LogisticRegressionWithLBFGS()
.setNumClasses(811).run(train.rdd());
【问题讨论】：
标签： apache-spark logistic-regression apache-spark-mllib
根据预览答案的 cmets，我发现最后第二条评论是主要查询。如果设置 setNumClasses(23) 意味着：在训练集中所有的类都应该在（0 到 22）的范围内。检查 (docs)。写成：
:: Experimental :: 设置多项 Logistic 回归中 k 类分类问题的可能结果数。默认情况下，它是二元逻辑回归，因此 k 将设置为 2。
这意味着，对于二元逻辑回归，二元值/类是（0 和 1），因此 setNumClasses(2) 是默认值。
在训练集中，如果您有 2、3、4 等其他类，则对于二进制分类，它将不起作用。
建议的解决方案：如果您的训练集或子集包含 790 - 801 和 900 - 910 个类，则将您的数据标准化或转换为（0 到 22）并将 23 作为 setNumClasses(23)。
【讨论】：
(0,k)，一个范围(n,n+k) 也可以工作.. .
你不能这样做，你提供了一组训练数据，它可能在 Spark 的梯度下降方法中的某个地方失败（不确定，因为你没有提供错误消息）。
Spark 应该如何确定它应该针对哪些 800 个标签来训练模型？
您应该做的是仅过滤掉 RDD 中带有您想要训练模型的标签的行。例如，假设您的标签是 0 到 1040 之间的值，而您只想训练 0 到 800 的标签，您可以这样做：
val actualTrainingRDD = train.filter( _.label < 801 )
final LogisticRegressionModel model = new LogisticRegressionWithLBFGS()
.setNumClasses(801).run(train.rdd());
@Edit：是的，当然可以选择一组不同的标签，这只是一个例子，只需将过滤方法更改为：
train.filter( row => (row.label >= 790 && row.label < 801) )
这是 Scala，Java 闭包使用 ->，对吗？
【讨论】：