前言

虽然这个算法大家都知道,但是具体如何证明的,这个有几个知道,我查了半天,毛都没???本文记录学习这篇论文的过程。

主体

part1

论文阅读SGD A Stochastic Approximation Method
解释:要解决的问题是要知道x得多少时,M(x)=a。而且M(x)得方程不知道。

part 2

论文阅读SGD A Stochastic Approximation Method
这个我想了俩小时大概弄懂了,H是一个概率函数,而非概率密度函数,dH(y|x)对y求导得话就得到关于y的概率密度函数,因此M(x)其实是给定x时y的期望值。这不就是概率论里的线性回归很像。

3

论文阅读SGD A Stochastic Approximation Method
设定了一些约束条件,在约束条件下,bn是xn到解的距离,随着n变大bn趋于无穷小。

相关文章: