【问题标题】:Normalization of a matrix矩阵的归一化
【发布时间】:2018-07-04 23:53:17
【问题描述】:

我有一个 150x4 矩阵 X,我使用以下代码从 pandas 数据框创建:

X = df_new.as_matrix()

我必须使用这个函数对其进行标准化:

我知道Uj 是j 的均值,σ j 是j 的标准差,但我不明白j 是什么。我在理解X 上的条形图时遇到了一点麻烦,而且我对等式中的逗号感到困惑(我不知道它们是否有任何意义)。

谁能帮我理解这个等式的含义,以便我可以使用 sklearn 编写归一化?

【问题讨论】:

    标签: python pandas matrix scikit-learn normalization


    【解决方案1】:

    您实际上不需要自己为规范化编写代码 - 它与 sklearn.preprocessing.scale 一起准备好了。

    这是一个例子from the docs:

    >>> from sklearn import preprocessing
    >>> import numpy as np
    >>> X_train = np.array([[ 1., -1.,  2.],
    ...                     [ 2.,  0.,  0.],
    ...                     [ 0.,  1., -1.]])
    >>> X_scaled = preprocessing.scale(X_train)
    
    >>> X_scaled                                          
    array([[ 0.  ..., -1.22...,  1.33...],
           [ 1.22...,  0.  ..., -0.26...],
           [-1.22...,  1.22..., -1.06...]])
    

    当与默认设置 axis=0 一起使用时,规范化会按列进行(即对于每一列 j,如您的问题中所示)。因此,很容易确认缩放数据的均值和单位方差为零:

    >>> X_scaled.mean(axis=0)
    array([ 0.,  0.,  0.])
    
    >>> X_scaled.std(axis=0)
    array([ 1.,  1.,  1.])
    

    【讨论】:

    • 哦,太酷了!为了澄清起见,在这种情况下,我可以将我的X 应用到您拥有X_train 的地方吗?此外,你能解释一下这个方程吗?我知道您提供的代码基本上可以做到这一点,但我也希望能够阅读方程式
    • @tushariyer 已经准备好这样做了,但基本上@maxim-egorushkin 所写的就是全部。在您的情况下,等式中的 j 从 0 到 3(4 列),均值和方差是每列 j。
    • 明白了,现在我已经阅读了您的两个回复,这对我来说更清楚了。非常感谢!
    • @tushariyer 不客气;感谢您的支持,现在请选择一个答案并将其标记为正确/接受...
    【解决方案2】:

    矩阵 X 的索引是行 (i) 和列 (j)。因此,X,j 表示矩阵X 的列j。 IE。将矩阵 X 的每一列归一化为z-scores。

    您可以使用 pandas 做到这一点:

    df_new_zscores = (df_new - df_new.mean()) / df_new.std()
    

    【讨论】:

    • 我想我明白了?有四列,所以j 指的是全部?你能解释一下标准化的作用吗?感谢您的帮助,但我想了解它是什么,以便更好地学习。此外,这使它再次成为数据框,如果我想将其保留为矩阵/numpy 数组怎么办?
    • @tushariyer j 指的是 any 列。这就是规范化的作用:en.wikipedia.org/wiki/Standard_score
    【解决方案3】:

    我不知道 pandas,但我认为这个方程意味着归一化矩阵由下式给出 您减去经验平均值并除以每列的经验标准差。

    您有时将其用于主成分分析。

    【讨论】:

      猜你喜欢
      • 2017-10-15
      • 2011-12-28
      • 1970-01-01
      • 2017-02-09
      • 1970-01-01
      • 2020-08-27
      • 2016-03-02
      • 2020-03-28
      • 2015-04-10
      相关资源
      最近更新 更多