【问题标题】:Reconstruction error on test set for NMF (aka NNMF) in scikit-learnscikit-learn 中 NMF(又名 NNMF)测试集的重建错误
【发布时间】:2018-03-12 23:08:40
【问题描述】:

我正在使用来自 scikit-learn 的 NMF(又名 NNMF)对自然语言数据执行主题提取。我正在尝试优化集群(又名组件)的数量。为此,我需要计算重建误差。然而,使用 scikit-learn 我只看到了一种在训练集上计算这个指标的方法。但我有兴趣为测试集获取这些指标。有什么建议吗?

【问题讨论】:

    标签: scikit-learn nmf


    【解决方案1】:

    很容易在外部数据上模拟 sklearn 的机制。

    此误差度量是使用函数_beta_divergence(X, W, H, self.beta_loss, square_root=True) 计算的here。

    API-docs 中概述了有关如何获得 W, H 的事实。

    假设我们得到了sklearn >= 0.19(这是在哪里引入的),我们可以简单地复制用法。

    这是一个完整的演示:

    from sklearn.datasets import fetch_20newsgroups_vectorized
    from sklearn.decomposition import NMF
    from sklearn.decomposition.nmf import _beta_divergence  # needs sklearn 0.19!!!
    
    """ Test-data """
    bunch_train = fetch_20newsgroups_vectorized('train')
    bunch_test = fetch_20newsgroups_vectorized('test')
    X_train = bunch_train.data
    X_test = bunch_test.data
    X_train = X_train[:2500, :]  # smaller for demo
    X_test = X_test[:2500, :]    # ...
    
    """ NMF fitting """
    nmf = NMF(n_components=10, random_state=0, alpha=.1, l1_ratio=.5).fit(X_train)
    print('original reconstruction error automatically calculated -> TRAIN: ', nmf.reconstruction_err_)
    
    """ Manual reconstruction_err_ calculation
        -> use transform to get W
        -> ask fitted NMF to get H
        -> use available _beta_divergence-function to calculate desired metric
    """
    W_train = nmf.transform(X_train)
    rec_error = _beta_divergence(X_train, W_train, nmf.components_, 'frobenius', square_root=True)
    print('Manually calculated rec-error train: ', rec_error)
    
    W_test = nmf.transform(X_test)
    rec_error = _beta_divergence(X_test, W_test, nmf.components_, 'frobenius', square_root=True)
    print('Manually calculated rec-error test: ', rec_error)
    

    输出:

    ('original reconstruction error automatically calculated -> TRAIN: ', 37.326794668961604)
    ('Manually calculated rec-error train: ', 37.326816210011778)
    ('Manually calculated rec-error test: ', 37.019526486067413)
    

    备注:有一些小错误可能是由 fp-math 引起的,但我懒得去检查它的确切来源。较小的问题表现得更好,上面的问题是巨大的,至少在 n_features 方面。

    请记住,此计算和使用的函数是由开发人员决定的某种形式,它可能具有合理的基础理论。 但总的来说,我会说:由于 MF 完全是关于重建,您可以根据比较的想法构建您喜欢的所有指标: X_orig 和 nmf.inverse_transform(nmf.transform(X_orig))。

    【讨论】:

    • 感谢您提供的解决方法/近似值,因为我当时正在做一个快速原型,所以它对我有用。我将建议将此功能添加到 scikit-learn API 中,并希望以提交者的身份加入。如果您有兴趣加入我,请告诉我,我会发送链接
    猜你喜欢
    • 2016-02-27
    • 2013-12-19
    • 2014-03-26
    • 2018-09-25
    • 2016-01-16
    • 2022-06-18
    • 1970-01-01
    • 2017-09-10
    • 2016-01-26
    相关资源
    最近更新 更多