马尔可夫链中两次转换的概率答案

【问题标题】：Probability of two transitions in Markov Chain马尔可夫链中两次转换的概率
【发布时间】：2015-02-28 19:02:58
【问题描述】：

我已经掌握了马尔可夫模型的转换矩阵，但对于如何进行一系列转换仍然有点不清楚。考虑页面底部的马尔可夫链，其中S = 晴天，C = 阴天，R = 雨天。

我已经在 MATLAB 中设置了这个转移矩阵

A = [0.1 0.2 0.7; 0.4 0.3 0.3; 0.2 0.6 0.2]

    0.1000    0.2000    0.7000
    0.4000    0.3000    0.3000
    0.2000    0.6000    0.2000

现在要查找转换的概率，为方便起见，我做了以下变量

>> S = 1
>> R = 2
>> C = 3

你可以通过从表格中查找单个转换的概率来找到它，例如从今天下雨到明天晴天将是

>> A(R,S)
ans = 0.4000

问题

我很难理解如何进行一系列转换。例如，如果今天是晴天，那么从现在起两天后是阴天的可能性有多大？（所以基本上是两个过渡）我在想

>> A(S,S)*A(S,C) + A(S,R)*A(R,C) + A(S,C)*A(C,C)
ans = 0.2700

基本上，我发现了所有可能的过渡，这些过渡可能最终从 Sunny 到 Cloudy。虽然很麻烦，但这是正确的做法吗？

【问题讨论】：

对矩阵求平方。
@OliverCharlesworth 这真的很聪明，谢谢！可以推断出这种趋势吗？例如，我是否可以通过对矩阵进行立方计算等方式找到在三个转换后最终处于某个状态的概率？
@OliverCharlesworth 抱歉，我没有看到您的评论...
@Cyber 是的，就是这样。参见例如here

【解决方案1】：

您编码A(S,S)*A(S,C) + A(S,R)*A(R,C) + A(S,C)*A(C,C)（即对所有可能的中间状态求和，或Chapman-Kolmogorov equation）只是矩阵乘法：

A(S,:)*A(:,C)

一般来说，A2 = A^2 给出了所有此类双转换的概率，An = A^n 是n 阶转换的概率（参见例如here）。所以A2(S,C)是今天晴天后两天多云的概率。

【讨论】：