1.使用循环直接用所有的L(ij)对w求偏导.再将结果累加。2.不适用循环,使用链式法则将L对w的求导转换为L对S的求导,再乘以X的转置得到。(重要!!!)
因为对ds求偏导的结果除了正确分类项之外非0即1,所以初始化了一个ds,再使用mask去匹配留下有效项。再处理分类正确的项。
对分类正确项的处理:
@@假设Si中, 有m项是有效(score>0)的,则除正确分类项之外有(m-1)项是有效的,则对于分类正确项梯度ds应为-1*(m-1),具体见下图:
相关文章:
1.使用循环直接用所有的L(ij)对w求偏导.再将结果累加。2.不适用循环,使用链式法则将L对w的求导转换为L对S的求导,再乘以X的转置得到。(重要!!!)
因为对ds求偏导的结果除了正确分类项之外非0即1,所以初始化了一个ds,再使用mask去匹配留下有效项。再处理分类正确的项。
对分类正确项的处理:
@@假设Si中, 有m项是有效(score>0)的,则除正确分类项之外有(m-1)项是有效的,则对于分类正确项梯度ds应为-1*(m-1),具体见下图:
相关文章: