automl-超参数优化（HPO）-综述

超参数优化方法分类：

超参数优化方法分类

超参数优化的难题

• 当面对大模型、大数据集、复杂的机器学习时，功能函数的评估非常昂贵
• 配置空间非常复杂且是高维的
• 我们通常不能得到关于超参数的损失函数的梯度。此外，在经典优化中经常使用的目标函数的其他特性通常不适用，如凸性和平滑性。