Python sklearn中的典型判别函数答案

【问题标题】：Canonical Discriminant Function in Python sklearnPython sklearn中的典型判别函数
【发布时间】：2022-05-06 18:02:31
【问题描述】：

我正在学习线性判别分析并正在使用 scikit-learn 模块。我对LinearDiscriminantAnalysis 类的“coef_”属性感到困惑。据我了解，这些是判别函数系数（sklearn 称它们为权重向量）。由于应该有 (n_classes-1) 个判别函数，我希望 coef_ 属性是一个形状为 (n_components, n_features) 的数组，而是打印一个 (n_classes, n_features) 数组。下面是一个使用 sklearn 中的 Iris 数据集示例的示例。由于有 3 个类和 2 个组件，我希望 print(lda.coef_) 给我一个 2x4 数组而不是 3x4 数组...

也许我误解了权重向量是什么，也许它们是分类函数的系数？

如何获得每个判别/规范函数中每个变量的系数？

screenshot of jupyter notebook

这里的代码：

import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.decomposition import PCA
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
import numpy as np

iris = datasets.load_iris()
X = iris.data
y = iris.target
target_names = iris.target_names
lda = LinearDiscriminantAnalysis(n_components=2,store_covariance=True)
X_r = lda.fit(X, y).transform(X)

plt.figure()
for color, i, target_name in zip(colors, [0, 1, 2], target_names):
    plt.scatter(X_r2[y == i, 0], X_r2[y == i, 1], alpha=.8, color=color,
                label=target_name)
plt.legend(loc='best', shadow=False, scatterpoints=1)
plt.xlabel('Function 1 (%.2f%%)' %(lda.explained_variance_ratio_[0]*100))
plt.ylabel('Function 2 (%.2f%%)' %(lda.explained_variance_ratio_[1]*100))
plt.title('LDA of IRIS dataset')

print(lda.coef_)
#output -> [[  6.24621637  12.24610757 -16.83743427 -21.13723331]
# [ -1.51666857  -4.36791652   4.64982565   3.18640594]
# [ -4.72954779  -7.87819105  12.18760862  17.95082737]]

【问题讨论】：

我的阅读方式是：lda.coef_ 为您提供每个类的每个属性的权重

标签： python statistics scikit-learn pca linear-discriminant

【解决方案1】：

您可以使用以下代码计算系数：

def LDA_coefficients(X,lda):
    nb_col = X.shape[1]
    matrix= np.zeros((nb_col+1,nb_col), dtype=int)
    Z=pd.DataFrame(data=matrix,columns=X.columns)
    for j in range(0,nb_col):
        Z.iloc[j,j] = 1
    LD = lda.transform(Z)
    nb_funct= LD.shape[1]
    results = pd.DataFrame();
    index = ['const']
    for j in range(0,LD.shape[0]-1):
        index = np.append(index,'C'+str(j+1))
    for i in range(0,LD.shape[1]):
        coef = [LD[-1][i]]
        for j in range(0,LD.shape[0]-1):
            coef = np.append(coef,LD[j][i]-LD[-1][i])
        result = pd.Series(coef)
        result.index = index
        column_name = 'LD' + str(i+1)
        results[column_name] = result
    return results

调用该函数前需要完成线性判别分析：

lda = LinearDiscriminantAnalysis()
lda.fit(X,y)

【讨论】：