自动选择超参数答案

【问题标题】：Choosing hyperparameters automatically自动选择超参数
【发布时间】：2023-03-05 16:59:01
【问题描述】：

我正在研究神经网络和正则化。我注意到有很多超参数需要手动设置，具体取决于您尝试解决的问题类型、您正在处理的数据集等。

我想知道是否有一种方法可以创建另一个优化模型，以便它自动找到训练所需的最佳超参数？我的意思是，我们能够通过梯度下降或其他方法找到合适的权重。那么，如果我们能够在超参数上找到某种成本函数，难道我们不能做同样的事情吗？基本上就像一个 AI 程序调整我们的 AI 模型。

这样的事情是否可能，或者至少是一个有效的问题？也许这在我不知道的一些研究中已经完成了吗？

【问题讨论】：

【解决方案1】：

是的，有一些框架可以自动为您调整超参数。我是 Optuna 团队的一员，Optuna (optuna.org) 就是这样一个框架，它可以进行贝叶斯优化来为您调整超参数。它可以与任何可以编写带有损失或准确性输出的 Python 程序一起使用。

【讨论】：

【解决方案2】：

您可以探索一些软件包。我建议你使用 talos。请找到以下链接：

最后你会找到 talos 的代码

【讨论】：