机器学习算法推导过程中的数学基础知识

1、向量、矩阵求导

当然了，这里补充一下求解过程中的关于向量、矩阵求导的几个公式：

 

 

这里其实只需要明白第一个，后边的三个都可以由第一个简单的推导而来。

注意这里对列向量AX的每一项的求导写为行，不然就会得到一个超越矩阵，我们不采用这种方式。