MXNet-Caret培训和优化

Question

我在RStudio中使用MXNet库来训练神经网络模型。

当使用插入符号训练模型时，我可以调整（以及其他）“动量”参数。这与Stochastic Gradient Descent优化器有关吗？

我知道这是使用“mx.model.FeedForward.create”进行训练时的默认优化器，但是当我使用插入符号:::火车时会发生什么？

Answer 1

动量与SGD有关，并控制算法改变下降方向的倾向。有几个公式可以做到这一点，请阅读更多相关信息：https://towardsdatascience.com/stochastic-gradient-descent-with-momentum-a84097641a5d

Caret包被认为是通用的，因此它适用于MXNet。当你调用cret::train时，它可以接受method参数。它应该从插入包的存储库中获取，该存储库目前支持MXNet。请参阅此示例：来自Adam的https://github.com/topepo/caret/issues/887或常规SGD的https://github.com/topepo/caret/blob/master/RegressionTests/Code/mxnet.R。