前言,建议大家如果有打算把数学这块儿搞明白,最好把考研的时候用的数三的三大本书(高等数学,概率论与数理统计、线性代数三本书)买过来,再研究下各个结论是如何证明的,学过的东西再拾起来很容易的。
本文主要内容:

极限
复习极限记号,无穷大无穷小阶数
微分学
复习函数求导,泰勒级数逼近
牛顿法与梯度下降法
Jensen不等式
复习凸函数,Jensen不等式重点内容的证明

常用的数学记号:
【笔记】机器学习所涉及到的“微积分”知识

极限:

【笔记】机器学习所涉及到的“微积分”知识

极限:如何比较无穷小?
【笔记】机器学习所涉及到的“微积分”知识

极限:无穷小阶数
如果f(x) 为n阶以上无穷小,那么说明f(x)趋于0的速度比分母还快。
【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识
弧长公式:弧长=θ*r,θ是弧度r是半径

【笔记】机器学习所涉及到的“微积分”知识
【笔记】机器学习所涉及到的“微积分”知识

微分学
【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识

微分学——多元函数:
【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识
以上两图等式左边的x和y,应分别改为Xo、Yo

例子1:
【笔记】机器学习所涉及到的“微积分”知识

例子2:
【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识

一元微分学的顶峰:泰勒级数
用多项式逼近的方式描述高阶导数,我们就得到了泰勒级数。
泰勒/麦克劳林级数:多项式逼近

【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识

洛必达法则是在一定条件下通过分子分母分别求导再求极限来确定未定式值的方法。这种方法主要是在一定条件下通过分子分母分别求导再求极限来确定未定式的值.
在运用洛必达法则之前,首先要完成两项任务:
一是分子分母的极限是否都等于零(或者无穷大);
二是分子分母在限定的区域内是否分别可导;

如果这两个条件都满足,接着求导并判断求导之后的极限是否存在:
如果存在,直接得到答案;
如果不存在,则说明此种未定式不可用洛必达法则来解决;

如果不确定,即结果仍然为未定式,再在验证的基础上继续使用洛必达法则

【笔记】机器学习所涉及到的“微积分”知识

洛必达法则的百度百科参考链接
【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识

牛顿法与梯度下降法:
牛顿法与梯度下降法本质也是逼近。
【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识
y=ax2+bx+c(a 不等于 0)
(1)函数开口向上,即a>0时,则没有最大值,只有最小值,即函数的顶点,可用函数的顶点公式:(-b/2a,(4ac-b^2)/4a)来求.
(2)函数开口向上,即a<0时,则没有最小值,只有最大值,求法同上.

【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识

牛顿法与梯度下降法:
【笔记】机器学习所涉及到的“微积分”知识

例子:
【笔记】机器学习所涉及到的“微积分”知识

小结:
【笔记】机器学习所涉及到的“微积分”知识

凸函数与琴生不等式:
为什么研究凸函数,凸优化?
对于凸优化来说,局部极值与整体极值没有区别。这个比较简单,所以从这个开始研究。
当不知道该做什么的时候,选择最简单的问题开始做起。这也是数学家惯用的伎俩。

凸函数定义:
【笔记】机器学习所涉及到的“微积分”知识

凸函数判断准则:
【笔记】机器学习所涉及到的“微积分”知识

凸函数重要性质:琴生不等式(凸函数定义的推广)
【笔记】机器学习所涉及到的“微积分”知识

证明过程:从中间的不等式开始看。

【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识

【笔记】机器学习所涉及到的“微积分”知识

相关文章:

  • 2021-07-11
  • 2021-11-27
  • 2022-01-10
  • 2022-02-09
  • 2021-11-10
  • 2021-12-11
  • 2021-10-28
猜你喜欢
  • 2021-05-31
  • 2021-09-11
  • 2021-11-30
  • 2021-12-09
  • 2021-06-22
  • 2021-06-09
  • 2021-10-24
相关资源
相似解决方案