用 optuna 定义回归问题的超参数搜索空间 [关闭]答案

【问题标题】：Defining hyperparameter search space of regression problem with optuna [closed]用 optuna 定义回归问题的超参数搜索空间 [关闭]
【发布时间】：2021-09-02 19:36:45
【问题描述】：

这个tutorial 展示了如何使用 sklearn 解决回归问题并使用 Optuna 优化 LightGBM 模型的超参数。我立即注意到的一件事是，他们在训练回归模型之前没有对任何参数进行归一化。这个问题有什么不需要归一化的原因吗？

我还尝试将参数（节点数、层数、激活函数、学习率）传递给objective 函数，如2. Use "trial" module to define hyperparameters dynamically! 部分所述。我正在阅读docs，我对如何将超参数搜索空间合并到objective 函数中感到困惑。

【问题讨论】：

据我所见，他们使用的是梯度提升树，并且任何树方法对于处理非标准化数据都非常稳健，因为拆分是根据最高熵减少计算的，该熵减少是针对每个特征单独计算的.通常对于任何树方法，您都不需要对数据进行规范化。
我投票结束这个问题，因为它与 help center 中定义的编程无关，而是关于 ML 理论和/或方法 - 请参阅 machine-learning @ 中的介绍和注意事项987654324@.

标签： python machine-learning scikit-learn neural-network optuna

【解决方案1】：

第一个回归算法（普通最小二乘法）是在没有考虑归一化的情况下开发的。事实上，大多数回归问题不需要任何形式的归一化，因为它会使模型更难解释。只有当您的算法对异常值非常敏感时，您才应该规范化您的数据。

也就是说，LightGBM 是一种基于树的梯度提升算法。由于是基于树的，每个节点的截止点对单调变换不敏感。

也就是说，如果f(·)是一个单调函数，x是降低代价函数最大的点，那么f(x ) 也是降低成本函数最多的点。

通过标准化您的自变量，您可以从所有观察中减去平均值并除以 n。因此，您不会更改特征观察变量的顺序。

【讨论】：