解释 GridSearchCV 中的岭回归答案

【问题标题】：Interpreting ridge regression in GridSearchCV解释 GridSearchCV 中的岭回归
【发布时间】：2018-02-02 01:55:05
【问题描述】：

即使我尝试了从 0.01 到 25 的一长串 alpha，为什么我的交叉验证岭回归模型中的错误没有显着变化？

代码

from sklearn.linear_model import Ridge
from sklearn.model_selection import GridSearchCV

params={'alpha': [25,10,4,2,1.0,0.8,0.5,0.3,0.2,0.1,0.05,0.02,0.01]}
rdg_reg = Ridge()
clf = GridSearchCV(rdg_reg,params,cv=2,verbose = 1, scoring = 'neg_mean_squared_error')
clf.fit(x_dummied_poly,y)

clf.best_params_
#{'alpha': 4}

pd.DataFrame(clf.cv_results_)

【问题讨论】：

您是否标准化了输入功能？ stats.stackexchange.com/questions/111017/…
是的，我做到了。输入是标准化的。我尝试了甚至 5000 的 alpha，mse 几乎没有变化 1

标签： python scikit-learn linearmodels

【解决方案1】：

您要么必须向我们提供数据，因此我们可以执行我们自己的一组特征选择和降维（我怀疑有人会为您这样做，因为这是一个非常乏味和耗时的过程，这就像一些你在培训中做的机器学习项目，你会得到报酬）

或

只要假设机器学习领域没有“免费午餐”就可以了。那句话的意思是；有“最佳”模型可以为您提供所需的东西。

这可以扩展到不同意义上的参数调整。没有硬性规定'alpha'是最好的参数；更改 alpha 值必须反映均方误差的显着变化。

或

尝试在 CrossValidated StackExchange 中提出这个问题。

【讨论】：

我的问题不是为我正在处理的问题得到一个框架良好的答案。我只是想检查是否有可能如此长的 alpha 范围可以提供如此一致的 MSE。因此，如果它是一个红色信号，我可以回去检查我是否在我的特征选择或特征转换中搞砸了。我将使用您的无免费午餐定理扩展部分并考虑已回答的问题。