【发布时间】:2021-06-02 12:20:33
【问题描述】:
我正在尝试使用逻辑回归解决多类分类问题。我的数据集有 3 个不同的类,每个数据点只属于一个类。这是样本 training_data;
这里的第一列是我作为偏置项添加的向量。并且目标列已经使用标签二值化的概念进行二值化,如sickit-learn中所述
然后我得到的目标如下;
array([[1, 0, 0],
[1, 0, 0],
[0, 1, 0],
[1, 0, 0],
[1, 0, 0]])
接下来,我使用一个与休息的概念来训练它,即一次训练一个分类器。示例代码;
for i in range(label_train.shape[1]):
clf = LogisticRegression(random_state=0,multi_class='ovr', solver='liblinear',fit_intercept=True).\
fit(train_data_copy, label_train[:,i])
#print(clf.coef_.shape)
如您所见,我总共训练了 3 个分类器,每个标签对应一个。我这里有两个问题;
第一个问题:根据sickit-learn 文档,
multi_class{‘auto’, ‘ovr’, ‘multinomial’}, default=‘auto’ 如果选择的选项是“ovr”,那么每个标签都适合一个二元问题。对于“多项式”,最小化的损失是拟合整个概率分布的多项式损失,即使数据是二元的。当solver='liblinear'时,'multinomial'不可用。如果数据是二进制的,或者如果solver='liblinear','auto' 选择'ovr',否则选择'multinomial'。
我的问题是,因为我选择求解器作为liblinear(作为o.v.r 问题),我选择multi_class 作为auto 还是ovr 是否重要。
第二个问题,是关于截距(或偏差)术语。文档说如果fit_intercept=True 则将偏差项添加到决策函数中。但是我注意到,当我没有在我的数据矩阵中添加 1 的向量时,系数中的参数数量,theta 向量与特征数量相同,尽管fit_intercept=True。我的问题是,我们是否必须将 1 的向量添加到数据矩阵中,并启用 fit_intercept 才能将偏差项添加到决策函数中。
【问题讨论】:
标签: python machine-learning scikit-learn logistic-regression