目录
GMM
混合模型
混合模型是一个由K个子分布组成的混合分布，表示了观测数据在总体中的概率分布。例如：由几个高斯分布混合起来的模型叫高斯混合模型，几个线性模型混合在一起的模型叫线性混合模型。
混合模型是一个统计模型，包含固定效应和随机效应。在统计学中，混合模型是代表一个大群体中存在子群体的概率模型。
混合模型定义
高斯混合模型定义
Gaussian Mixture Model（缩写GMM）。高斯混合模型就是用高斯概率密度函数（正态分布曲线）精确地量化事物，将事物分解为若干的基于高斯概率密度函数形成的模型。
GMM是单一高斯概率密度函数的延伸，能够平滑地近似任意形状的密度分布。GMM种类包括单高斯模型（Single Gaussian Model，SGM）和高斯混合模型（Gaussian Mixture Model,GMM）两类。
类似聚类，根据高斯概率密度函数（Probability Density Function，PDF）参数不同，每一个高斯模型可以看做一类类别，输入一个样本x，即可通过PDF计算其值，接着通过一个阈值判断该样本是否属于该高斯模型。
随机变量
表示随机试验各种结果的实值单值函数。例如某一时间内公车站的乘客人数。
离散型随机变量
即在一定区间内变量取值为有限个或可数个。例如某地区某年人口的出生数、死亡数、某药治疗某病病人的有效数、无效数等。
连续型随机变量
即在一定区间内变量取值有无限个，例如某地区男性的身长值、体重值等。
概率密度函数
连续型随机变量的概率密度函数是一个描述随机变量的输出值在某个确定的取值点附近的可能性的函数。随机变量的取值落在某个区域之内的概率为概率密度函数在这个区域上的积分。
高斯分布
高斯分布，又名正态分布，最早由棣莫弗在求二项分布的渐近公式中得到。高斯在研究测量误差时从另一个角度导出了它，在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。
高斯分布曲线
正态曲线呈钟型，两头低，中间高，左右对称。标准差越大，曲线越扁平；反之，曲线越瘦高。
单高斯模型
当样本数据X是一维数据时，高斯分布遵从下方概率密度函数：
当样本数据X是多维数据时，高斯分布遵从下方概率密度函数：
最大似然法
最大似然法（Maximum Likelihood，ML）也叫极大似然估计，是一种具有理论性的点估计法。最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数.
基本思想：从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。
最大似然估计
概率与似然
单高斯模型参数学习
求解步骤：（1）概率密度函数。（2）似然函数。（3）对数似然函数。（4）求导且令方程为零。（5）解方程。
高斯混合模型
高斯混合模型参数学习
EM算法
最大期望算法（Expectation Maximization Algorithm），是一种迭代算法，用于含有隐变量（Hidden Variable）的概率参数模型的最大似然估计或极大后验概率估计。
该算法是Dempster，Laind，Rubun于1977年提出的求极大似然估计参数的方法，它可以从非完整数据集中对参数进行MLE估计，可以广泛地应用于处理缺损数据，截尾数据，带有噪声等所谓的不完全数据。
EM算法求解
总体步骤是：（1）初始化参数。（2）E步骤：求期望。（3）M步骤：求极大，计算新一轮迭代的模型参数。（4）迭代至收敛。
GMM学习步骤
（1）高斯混合模型函数
（2）概率密度函数
（3）似然函数
（4）对数似然函数
（5）EM算法求解
GMM优缺点
优点：拟合能力强，对语音特征匹配概率最大化。
缺点：无法处理序列，无法处理线性或近似线性数据。
HMM
马尔科夫链案例
某同类商品A，B，C的宣传力度不同，顾客在广告宣传的效应下第一次尝试选择购买商品A，B，C的概率分别是0.2，0.4，0.4。顾客的购买倾向为下表，求某顾客第4次购买各商品的概率。
马尔科夫链案例求解
马尔科夫链
马尔科夫链是指数学中具有马尔科夫性质的离散事件随机过程。该过程中，在给定当前知识或信息的情况下，过去对于预测将来是无关的，只与当前状态有关。
在马尔科夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。
马尔科夫链原理
原理：马尔科夫链描述了一种状态序列，其每个状态值取决于前面有限个状态。马尔科夫链是具有马尔科夫性质的随机变量的一个数列。这些变量的范围，即它们所有可能取值的集合，被称为“状态空间”。
正定性：状态转移矩阵中的每一个元素称为状态转移概率，每个状态转移概率皆为正数
有限性：状态转移矩阵中的每一行相加皆为1。
可观测马尔科夫模型
HMM
隐马尔科夫模型（Hidden Markov Model，HMM）是马尔科夫链的一种，它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每个观测向量是由一个具有相应概率密度分布的状态序列产生。