PySpark：获取 Spark ML 多层感知器分类器的输出层神经元值答案

【问题标题】：PySpark: Getting output layer neuron values for Spark ML Multilayer Perceptron ClassifierPySpark：获取 Spark ML 多层感知器分类器的输出层神经元值
【发布时间】：2017-02-28 00:45:12
【问题描述】：

我正在使用 Spark ML 多层感知器分类器进行二进制分类。

mlp = MultilayerPerceptronClassifier(labelCol="evt", featuresCol="features", layers=[inputneurons,(inputneurons*2)+1,2])

输出层有两个神经元，因为它是一个二元分类问题。现在我想获取测试集中每一行的两个神经元的值，而不是只获取包含 0 或 1 的预测列。

我在 API 文档中找不到任何内容。

【问题讨论】：

理想情况下，隐藏层的大小不应该在输入层大小和输出层大小之间吗？

标签： apache-spark neural-network apache-spark-mllib apache-spark-ml

【解决方案1】：

我的回答可能有点晚了。但是对于那些新人。

根据this documentation，ML 包确实提供 MLP（多层感知器）作为分类器（无回归），因此它将输出层值推送到 softmax 函数以生成二进制输出值。

这是来自文档的注释

输出层节点使用softmax函数

【讨论】：