“强化学习的精髓之一，就是解决无模型的马尔科夫决策问题。”——《深入浅出强化学习》第四章
蒙特卡罗方法：在无模型（状态转移概率未知）的强化学习中，随机地从状态
出发，经过许多次试验，最终到达终止状态，如图（蒙特卡罗中的经验）：
利用蒙特卡罗方法求状态处的值函数时，又可以分为第一次访问蒙特卡罗方法和每次访问蒙特卡罗方法。
第一次访问蒙特卡罗方法是指，在计算状态s处值函数时，只利用每次试验中第一次访问到状态s时的返回值。如图3.3中第一次试验所示，计算状态处的均值时只利用
。因此第一次访问蒙特卡罗方法的计算公式为：
每次访问蒙特卡罗方法是指，在计算状态处的值函数时，利用所有访问到状态
时的回报返回值，即：
蒙特卡罗方法伪代码：
参考：https://zhuanlan.zhihu.com/p/25743759