前言
本来是想了解HMM模型（隐马尔科夫模型），但是HMM是建立在MarkovModels模型的基础上，这里就简单的介绍一下马尔科夫模型，其实类似翻译啦。参考UMDHMM
概念介绍
- 可观察状态（Observable states）：1,2…,N （例如天气的状态，sunny,rainy,cloudy，3中状态）
- 可观察状态序列（Observed sequence）
（PS：一般都是随时间而改变，例如day1 sunny,day2 cloudy, day3 sunny, day4 rainy）
q1, q2, … , qt, …, qT （t代表时间下标，也可以认为是序列下标） - 一阶马尔科夫假设（First order Markov assumption）
简单来说就是t时间状态为j的概率依赖前一时刻的概率。概率公式的含义就是1到t-1的可观察序列前提下
t时刻可观察状态为j的概率，等于t-1时刻可观察状态为i的前提下t时刻可观察状态为j的概率。 - 稳定性（Stationarity）
这里保证了状态转移的概率不随时间而改变。 - 状态转移概率矩阵
矩阵A为状态转移矩阵，含义aij表明t-1时刻可观察状态为i前提下t时刻可观察状态为j的概率。
从某个状态转换成其余状态的概率和为1，即矩阵的每一个行的概率和为1。
例子
这里简单解释，天气状态R,C,S。状态转移矩阵，你可以在行标和列表都加上R,C,S。
例如这里0.4可以认为昨天R今天R的概率为0.4，这里就可以解释为什么每一行的和为1。
昨天R今天的状态只可能是R,C,S。所以概率和为1。
解释了马尔科夫链的原理。但是其实这就是简单的一阶马尔科夫模型
根据上述的马尔科夫链，求解在SSRRSCS状态序列下的一个为S的概率。这里引出了需要一个状态的初始概率，比如你再深圳，深圳这个地方春季S的概率为0.6,R的概率为0.2,C的概率为0.2,这样就给出了一个初始概率，这个初始概率，可以是这个地区的平均天气状态概率分布。