scikit-learn - 以概率为目标变量的多项逻辑回归答案

【问题标题】：scikit-learn - multinomial logistic regression with probabilities as a target variablescikit-learn - 以概率为目标变量的多项逻辑回归
【发布时间】：2017-10-27 14:23:32
【问题描述】：

我正在使用 scikit-learn 在 Python 中实现多项逻辑回归模型。然而，问题是我想对目标变量的类使用概率分布。例如，假设这是一个 3 类变量，如下所示：

    class_1 class_2 class_3
0   0.0     0.0     1.0
1   1.0     0.0     0.0
2   0.0     0.5     0.5
3   0.2     0.3     0.5
4   0.5     0.1     0.4

使得每一行的值之和等于 1。

我怎么能适应这样的模型？当我尝试时：

model = LogisticRegression(solver='saga', multi_class='multinomial')
model.fit(X, probabilities)

我收到一条错误消息：

ValueError: bad input shape (10000, 3)

我知道这与此方法需要一个向量而不是矩阵这一事实有关。但是这里我不能将probabilities 矩阵压缩成向量，因为类不是排他的。

【问题讨论】：

那么这就变成了一个多输出回归任务，而不是分类。因为您的概率将是 0-1 之间的实数。

标签： python machine-learning scikit-learn logistic-regression multinomial

【解决方案1】：

你不能在 scikit-learn 中使用非指标概率的交叉熵损失；这在 API 中未实现且不支持。这是 scikit-learn 的限制。

对于逻辑回归，您可以通过根据标签概率对实例进行上采样来近似它。例如，您可以将每个实例上采样 10 倍：例如如果对于训练实例，类 1 的概率为 0.2，类 2 的概率为 0.8，则生成 10 个训练实例：8 个具有 2 类，2 个具有 1 类。它不会尽可能高效，但在有限的范围内你'将优化相同的目标函数。

你可以这样做：

from sklearn.utils import check_random_state
import numpy as np

def expand_dataset(X, y_proba, factor=10, random_state=None):
    """
    Convert a dataset with float multiclass probabilities to a dataset
    with indicator probabilities by duplicating X rows and sampling
    true labels.
    """
    rng = check_random_state(random_state)
    n_classes = y_proba.shape[1]
    classes = np.arange(n_classes, dtype=int)
    for x, probs in zip(X, y_proba):
        for label in rng.choice(classes, size=factor, p=probs):
            yield x, label

在此处查看更完整的示例：https://github.com/TeamHG-Memex/eli5/blob/8cde96878f14c8f46e10627190abd9eb9e705ed4/eli5/lime/utils.py#L16

或者，您可以使用 TensorFlow 或 PyTorch 等库来实现逻辑回归；与 scikit-learn 不同，在这些框架中定义任何损失都很容易，并且交叉熵是开箱即用的。

【讨论】：

好的，谢谢，这就是我想知道的。但是正如你所说，没有可用的库（除了 TensorFlow 或 PyTorch）来处理这样的事情吗？
可能有这样的库，但我没有找。无论如何，在 Pytorch 或 Theano 的 TensorFlow 中实现它应该非常容易，只需几行代码。如果你对上采样方法没问题，你可以 pip install eli5，并使用 eli5.lime.utils.fit_proba 和来自 scikit-learn 的逻辑回归分类器。

【解决方案2】：

您需要在训练数据中输入正确的标签，然后逻辑回归模型会在您使用 predict_proba(X) 时返回概率，它会返回一个形状为 [n_samples, n_classes] 的矩阵。如果您使用 just predict(X) 那么它将为您提供形状为 [n_samples,1] 的最可能类的数组

【讨论】：