3 Discrete-time Markov chains
离散马尔可夫链
3.1Definition of a DTMC
3.2 Transient Evolution
3.2.1过渡演化定义
Ps是过了n步之后，状态是s的可能性。p(n)是n步之后所有状态可能性组成的向量，绝对值之和为1。
例如：p0 (4)是在4不之后状态是0的可能性。
举个例子：
求p（1）:
公式->
故
3.2.2 单步演化可能性定义
可能性矩阵P有特征值1.
3.2.3Chapman-Kolmogorov Equation
这个还是很好理解的。n步之后从s到s'的可能性，是所有l步从s到s''，然后n-l步从s''到s'，其中0<=l<=n。