用SAS进行岭逻辑回归？答案

【问题标题】：Ridge logistic regression with SAS?用SAS进行岭逻辑回归？
【发布时间】：2017-08-13 16:44:45
【问题描述】：

如何在 SAS 中使用岭回归优化逻辑回归？根据 cmets here 和 here，这应该已经在带有 PROC HPGENSELECT 的 SAS 中实现。但是怎么做呢？

我是 SAS 新手，来自 R 世界。我有点迷失方向，通常很难在 SAS 中找到 R 类似物。

【问题讨论】：

【解决方案1】：

只有 PROC HPGENSELECT Statement 上的 LASSO 选项可用。默认优化例程在需要时使用ridging。我找不到任何可以让您控制起垄的选项。

proc hpgenselect data=blah lassorho=2 lassosteps=100 ;
<other stuff>
model <model specification>;
<other stuff>
run;

【讨论】：

我不确定我是否理解。与基于添加 L1 惩罚的 Lasso 不同，岭回归添加了 L2 范数的倍数以最小化，其中倍数可能由分析师调整。从您的回答或文档中我不清楚哪个参数控制这个调整倍数。我从您的回答中得知，您声称 lassorho=2 意味着我们正在添加 L2 惩罚？
对不起，没有。我误解了我的回答，并根据您引用的 SAS 博客做出了回答。如果有办法指定该参数，让我进一步看看。
根据仔细阅读（抱歉），只有 LASSO 方法可用。默认优化使用岭方法分解 hessian。你可以阅读它documentation.sas.com/…。将更新答案。
很遗憾，因为对于分析师来说这是一个非常基本的程序。我正在努力，但很难欣赏 SAS。
顺便说一下，我不认为他们使用 Newton-Raphson 和 Ridge 与 Ridge 回归有任何直接关系。我认为这只是他们快速、稳健地计算最大似然度的方法。

【解决方案2】：

在 SAS 软件家族中，没有直接涵盖这个问题所询问的岭回归的程序。 Ridge= 选项在这里和那里的优化例程不是岭回归。您可以访问 lexjansen.com 搜索岭回归。有已发布的程序可以有条不紊地执行您想要的，混合 Base 和 IML，但根据您的自定义需求，不一定需要 IML。

【讨论】：