【问题标题】:Is Feature Scaling recommended for AutoEncoder?自动编码器是否推荐使用特征缩放?
【发布时间】:2019-08-10 17:21:42
【问题描述】:

问题:

Staked 自动编码器正在应用于具有 25K 行和 18 列的数据集,所有浮点值。 SAE 用于编码和解码的特征提取。

当我在没有特征缩放的情况下训练模型时,损失约为 50K,即使在 200 个 epoch 之后也是如此。但是,当应用缩放时,损失从第一个 epoch 开始约为 3。

我的问题:

  1. 使用SAE进行特征提取时,是否建议应用特征缩放

  2. 解码时会影响准确性吗?

【问题讨论】:

    标签: python neural-network deep-learning pytorch autoencoder


    【解决方案1】:
    1. 除了少数例外,您应该始终在机器学习中应用特征缩放,尤其是在 SAE 中使用梯度下降时。缩放您的特征将确保更平滑的成本函数,从而更快地收敛到全局(希望)最小值。

    另外值得注意的是,在 1 个带有缩放的 epoch 之后,您的损失要小得多,这应该是用于计算损失的值小得多的结果。

    1. 没有

    【讨论】:

    • 感谢 JimmyOnThePage 的回答.. 在您的 cmets 上“还值得注意的是,在 1 个 epoch 之后,您的较小损失应该是由于用于计算损失的值要小得多”.. 是的缩放后应用值变小.. 有什么办法可以改进模型来避免它
    • 我不确定我是否完全理解这个问题。特征缩放总是会导致更快的收敛并增加找到全局最小值的概率。没有必要避免它,因为反转模型输出的比例会使特征恢复到原来的范围。如果您要问如何进一步降低损失,可以选择一些选项,例如更改 SAE 架构、更好的初始特征选择等。但是特征缩放总是会改善您的结果,或者至少收敛得更快
    猜你喜欢
    • 2021-03-09
    • 1970-01-01
    • 2021-08-03
    • 2020-05-31
    • 2020-08-15
    • 1970-01-01
    • 1970-01-01
    • 2012-08-05
    • 1970-01-01
    相关资源
    最近更新 更多