【问题标题】:What to do about an ANN producing completely different results?如果 ANN 产生完全不同的结果,该怎么办?
【发布时间】:2019-12-31 22:12:27
【问题描述】:

我正在尝试训练一个人工神经网络,我知道之前有人问过为什么结果会有所不同,答案是权重的初始化是随机的。

我目前正在尝试进行一些网格搜索来调整参数,但我发现我在完全相同的参数搜索中得到了非常不同的结果。

我的问题是调整超参数的最佳做法是什么?我在想一种方法是锁定随机种子,但我担心如果我锁定我的随机种子并以这种方式进行调整,那么如果我选择一个好的种子或者不是能够找到绝对最小值,这只是运气。

接下来的方法是只运行几次并找到最佳结果范围,然后使用这些权重吗? (如果是这样,有人知道该怎么做吗?我通过 sklearn 包装器使用 Keras 是 KerasRegressor

任何帮助将不胜感激。如果需要,很乐意提供代码示例!

【问题讨论】:

    标签: machine-learning scikit-learn neural-network deep-learning grid-search


    【解决方案1】:

    使用交叉验证来评估样本外的结果。从所有评估模型中选择最佳模型。此外,您应该有一个用于最终性能评估的测试集。

    不用担心随机初始化权重担心过拟合。

    【讨论】:

    • 每次交叉验证都会产生与初始化权重大不相同的结果
    • 如果您对验证性能不满意,您可能没有足够的训练数据,我会推荐一个更简单的模型。
    • 可以预期不同的交叉验证结果,无需担心。但是,由于您对 cv 性能估计的方差很大,因此模型选择会过拟合。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-04-23
    • 2016-01-20
    • 1970-01-01
    • 2022-07-25
    相关资源
    最近更新 更多