MXNet-Caret 训练和优化

【问题标题】：MXNet-Caret Training and OptimizationMXNet-Caret 训练和优化
【发布时间】：2019-06-27 08:20:54
【问题描述】：

我正在使用 RStudio 中的 MXNet 库来训练神经网络模型。

使用插入符号训练模型时，我可以调整（除其他外）“动量”参数。这与随机梯度下降优化器有关吗？

我知道这是使用“mx.model.FeedForward.create”进行训练时的默认优化器，但是当我使用 caret:::train 时会发生什么？？

【问题讨论】：

【解决方案1】：

动量与 SGD 相关，并控制您的算法改变下降方向的可能性。有几个公式可以做到这一点，在这里阅读更多信息：https://towardsdatascience.com/stochastic-gradient-descent-with-momentum-a84097641a5d

Caret 包应该是通用的，所以它适用于 MXNet。当您调用cret::train 时，它可以接受method 参数。它应该取自目前支持 MXNet 的 caret 包的存储库。请参阅此示例：https://github.com/topepo/caret/issues/887 来自 Adam 或 https://github.com/topepo/caret/blob/master/RegressionTests/Code/mxnet.R 用于常规 SGD。

【讨论】：