FTRL 可以应用于线性最小二乘法吗？还是仅适用于逻辑回归模型？

【问题标题】：Can FTRL be applied on linear least squares? or is it just for logistic regression models?FTRL 可以应用于线性最小二乘法吗？还是仅适用于逻辑回归模型？
【发布时间】：2016-02-06 13:42:48
【问题描述】：

我正在探索follow-the-regularized-leader FTRL 近端梯度下降： paper, reference implementation.

在提到 FTRL 的任何地方，梯度下降的损失面都是LogLoss，预测模型是Logistic regression。

我可以对线性最小二乘模型使用相同的算法吗？我有一个问题，我想用linear model 建模并通过least squares 定义损失，然后进行 FTRL 以找到最佳解决方案 - 你觉得有什么问题吗？

谢谢。

【问题讨论】：

标签： linear-regression logistic-regression gradient-descent

【解决方案1】：

我认为我对 FTRL 的研究还不够多，但我正在努力。我一直在研究这个算法，我相信这个 python 代码会对你有所帮助，因为它使用最小二乘法进行损失。由于代码是为回归编写的，因此“预测”方法的返回值发生了变化，因为使用 sigmoid 函数进行回归是无用的。 https://www.kaggle.com/scirpus/grupo-bimbo-inventory-demand/ftlr-use-pypy/code

我希望你熟悉 python，但如果不熟悉，那么我相信答案是肯定的，因为我在 kaggle bimbo 比赛中测试了相同的代码，并且它在测试数据上产生了与公共排行榜上相似的分数。

【讨论】：

非常好！你能说明为什么你使用max(p,0) 而不是只使用p 吗？为什么我们不增加大量负面预测的损失？
我很遗憾没有提到代码不是我的。我只是在做 FTRL 研究时发现它，但是我相信作者这样做的原因是因为目标值只能是正值，因此通过将负值设置为 0 可以减少错误。在这个例子中预测的目标值是'returns of expired date products in a store'，很明显你不能返回负数的产品，所以为了提高公共排行榜的分数，你将所有的负值设置为尽可能少目标值为零。