【问题标题】:Optimization solver Used for One vs rest in Sickit learn用于 Scikit 学习中 One vs rest 的优化求解器
【发布时间】:2021-06-02 12:20:33
【问题描述】:

我正在尝试使用逻辑回归解决多类分类问题。我的数据集有 3 个不同的类,每个数据点只属于一个类。这是样本 training_data;

这里的第一列是我作为偏置项添加的向量。并且目标列已经使用标签二值化的概念进行二值化,如sickit-learn中所述

然后我得到的目标如下;

array([[1, 0, 0],
   [1, 0, 0],
   [0, 1, 0],
   [1, 0, 0],
   [1, 0, 0]])

接下来,我使用一个与休息的概念来训练它,即一次训练一个分类器。示例代码;


for i in range(label_train.shape[1]):
    clf = LogisticRegression(random_state=0,multi_class='ovr', solver='liblinear',fit_intercept=True).\
 fit(train_data_copy, label_train[:,i])
    #print(clf.coef_.shape)

如您所见,我总共训练了 3 个分类器,每个标签对应一个。我这里有两个问题;

第一个问题:根据sickit-learn 文档,

multi_class{‘auto’, ‘ovr’, ‘multinomial’}, default=‘auto’ 如果选择的选项是“ovr”,那么每个标签都适合一个二元问题。对于“多项式”,最小化的损失是拟合整个概率分布的多项式损失,即使数据是二元的。当solver='liblinear'时,'multinomial'不可用。如果数据是二进制的,或者如果solver='liblinear','auto' 选择'ovr',否则选择'multinomial'。

我的问题是,因为我选择求解器作为liblinear(作为o.v.r 问题),我选择multi_class 作为auto 还是ovr 是否重要。

第二个问题,是关于截距(或偏差)术语。文档说如果fit_intercept=True 则将偏差项添加到决策函数中。但是我注意到,当我没有在我的数据矩阵中添加 1 的向量时,系数中的参数数量,theta 向量与特征数量相同,尽管fit_intercept=True。我的问题是,我们是否必须将 1 的向量添加到数据矩阵中,并启用 fit_intercept 才能将偏差项添加到决策函数中。

【问题讨论】:

    标签: python machine-learning scikit-learn logistic-regression


    【解决方案1】:
    1. 没关系;正如您可能看到的here,无论何时选择multi_class='auto' 或multi_class='ovr' 都会导致相同的结果solver='liblinear'。
    2. 在solver='liblinear' 的情况下,使用等于 1 的默认偏置项并通过intercept_scaling 属性附加到 X(这反过来仅在fit_intercept=True 时有用),如您所见here。拟合后,intercept_ 将返回拟合偏差(维度(n_classes,))(如果fit_intercept=False 则为零值)。拟合系数由coef_ 返回(维度(n_classes, n_features) 而不是(n_classes, n_features + 1) - 拆分完成here)。

    这里是一个例子,考虑 Iris 数据集(有 3 个类和 4 个特征):

    from sklearn.datasets import load_iris
    from sklearn.linear_model import LogisticRegression
    X, y = load_iris(return_X_y=True)
    
    clf = LogisticRegression(random_state=0, fit_intercept=True, multi_class='ovr', solver='liblinear')
    clf.fit(X, y)
    clf.intercept_, clf.coef_
    ################################
    (array([ 0.26421853,  1.09392467, -1.21470917]),
     array([[ 0.41021713,  1.46416217, -2.26003266, -1.02103509],
            [ 0.4275087 , -1.61211605,  0.5758173 , -1.40617325],
            [-1.70751526, -1.53427768,  2.47096755,  2.55537041]]))
    

    【讨论】:

      猜你喜欢
      • 2013-02-18
      • 1970-01-01
      • 1970-01-01
      • 2019-01-22
      • 2020-10-16
      • 2016-03-14
      • 2016-01-19
      • 2012-11-19
      • 2018-08-15
      相关资源
      最近更新 更多