1. Markov Processes马尔可夫过程
1.1 Markov Property马尔可夫性
在了解马尔可夫过程之前，我们首先得了解什么是马尔可夫性，马尔可夫性其实是一种假设，“未来的一切仅与现在有关，独立于过去的状态”。
关于马尔可夫性，我们给出了如下的Definition：
从上述的式子可以看出，t+1时刻的状态包含了1,…,t时刻状态的全部历史信息，并且当我们知道t时刻的状态后，我们只关注于环境的信息，而不用管之前所有状态的信息，这就是马尔可夫性，当论文中说某一状态或其他信息符合马尔可夫性时，我们也应当联想到这个性质。
1.2 State Transition Matrix状态传输矩阵
1.3 Markov Chain马尔可夫链
2. Markov Reward Process马尔可夫奖励过程
2.1 MRP
简单来说，马尔可夫奖励过程就是含有奖励的马尔可夫链，要想理解MRP方程的含义，我们就得弄清楚奖励函数的由来，我们可以把奖励表述为进入某一状态后收获的奖励。奖励函数如下所示：
2.2 Return回报
2.3 Value Function价值函数
2.4 Bellman Equation贝尔曼方程
3. Markov Decision Process马尔可夫决策过程
3.1 MDP
下面终于讲到了今天的重头戏，MDP模型，如模型标题的意思所言，MDP就是具有决策状态的马尔可夫奖励过程。这里我们直接给出了马尔可夫决策过程的定义：
3.2 Policies策略
3.3 Policy based Value Function基于策略的价值函数
3.4 Bellman Expectation Equation贝尔曼期望方程
3.5 Optimal Value Function最优价值函数
3.6 Theorem of MDP定理
3.7 Finding an Optimal Policy寻找最优策略
3.8 Bellman Optimality Equation贝尔曼最优方程
3.9 Solving the Bellman Optimality Equation求解贝尔曼最优方程
贝尔曼最优方程是非线性的，通常而言没有固定的解法，有很多著名的迭代解法：
- Value Iteration 价值迭代
- Policy Iteration 策略迭代
- Q-learning
- Sarsa
这个可以大家之后去多了解了解。
https://zhuanlan.zhihu.com/p/271221558