文章目录
maximum likelyhood解释
在学习deeplearning过程中，找到了一种对maximum likelyhood（极大似然估计）比较好的解释方法，在这里做一个记录
从训练集中随机抽取78个样本，希望对这78个样本按照样本的特征进行分类，样本中有两个类别，类别1的样本数为30，类别2的样本数为48
对于某个类别，如类别1
首先假设30个样本服从多维高斯分布，本例中，为了方便可视化，假设特征维度为2维
那么78个样本的概率密度函数为
对于已有的30个样本点
假设任何一个高斯函数，都可以采样出这30个样本点，但是每个高斯函数采样出这30个样本的可能性（likelyhood）是不一样的 那么可以计算出某个高斯函数，使得它采样出这30个样本点的可能性最大即（maximum likelyhood）
为了计算哪个高斯函数（即哪个u σ）使得这30个样本点出现的概率最大，那么就将30个样本点被采样出来的联合概率概率，假设为独立采样，那么30个概率独立同分布。
可以通过30个样本点计算出类别1的概率密度函数中（μ1 σ1）
再通过剩下的48个样本点计算类别2的概率密度函数中（μ2 σ2）
再通过贝叶斯公式，计算p(c=1|x)
模型的改进
通过计算，这种方法分类结果准确率不高，可以对这种方法进行改进，如两种类别高斯分布选用相同的σ
sigmod函数的导出
在生成模型中，通过计算N1 N2 μ1 μ2 σ 五个变量最终使得生成模型等效为p(c1|x)=σ（w*x+b），那么考虑是否可以直接求得w和b呢？
legistic regression
logistic regression 的损失函数
损失函数
梯度的计算方法
logistic regression 与deep learning的关系
在做非线性模型时，deep learning可以先做预处理，在使用logistic regression 进行分类，如