强化学习点滴

强化学习

Agent learns to take actions maximizing expected reward or expected cumulative reward per episode.

• 基于模型的方法
• 无模型的方法

首先得说一下这里的模型指的是什么。

model就是用来预测环境接下来会干什么，即在这一状态的情况下执行某一动作会达到什么样的状态，这一个动作会得到什么reward。所以描述一个模型就是用动作转移概率与动作状态reward。
公式如下：

$p(s_{t+1}|s_t,a_t)$p(st+1​∣st​,at​)和$p(r_t|s_t,a_t)​$p(rt​∣st​,at​)​。

无模型强化学习

一，策略网络

Learning an Actor：$a = \pi_{\theta} (s)​$a=πθ​(s)​.

一般过程如下：

• 定义模型actor的结构：神经网络。
• 目标函数：最大化每个episode的期望累积奖励$R_{\theta}=\sum_{t=1}^{T}r_t$Rθ​=∑t=1T​rt​。一般先采样$n$n个episode，然后利用这$n$n个episode来计算$R_{\theta}$Rθ​的期望$\hat{R_{\theta}}$Rθ​^​，通过最大化$\hat{R_{\theta}}$Rθ​^​来最大化$R_{\theta}$Rθ​。其中，每个episode的形式为:$\tau=\{s_1,a_1,r_1,s_2,a_2,r_2,...,s_T,a_T,r_T\}$τ={s1​,a1​,r1​,s2​,a2​,r2​,...,sT​,aT​,rT​}

$p(\tau|\theta)=p(s_1)\prod_{t=1}^{T}p(a_t|s_t,\theta)p(r_t,s_{t+1}|s_t,a_t)$p(τ∣θ)=p(s1​)t=1∏T​p(at​∣st​,θ)p(rt​,st+1​∣st​,at​)

其中，只有$p(a_t|s_t,\theta)$p(at​∣st​,θ)这一项与你的actor有关。

所以我们可以利用$\pi_{\theta}$πθ​和$p(\tau|\theta)$p(τ∣θ)采样出N个$\tau$τ，从而得到$\hat{R_{\theta}}=\sum_{\tau}R(\tau)P(\tau|\theta)\approx\frac{1}{N}\sum_{n=1}^{N}R(\tau_n)$Rθ​^​=∑τ​R(τ)P(τ∣θ)≈N1​∑n=1N​R(τn​)。

• 则最终的参数为：$\theta^*=argmax_\theta \hat{R_\theta}$θ∗=argmaxθ​Rθ​^​。可以使用SGD来优化。

$\theta = \theta+\alpha\nabla\hat{R_\theta}$θ=θ+α∇Rθ​^​

其实$\nabla\hat{R_\theta}$∇Rθ​^​本质山是由策略梯度决定的，推导见纸质版。

最终结果为：

其中$b$b可以视为一个累积奖励的baseline。

二，估值网络

Learning a Critic,then found a best Actor from the Critic：Q-learning.

Critic

（1）state value function：$V^{\pi}(s)$Vπ(s)

它的结构一般是一个的神经网络，输出一个标量，它的意思是在使用actor $\pi$π，看到状态s之后的累积期望奖励值。

（2）state-action value function：$Q^{\pi}(s,a)$Qπ(s,a)

它的结构一般也是一个的神经网络，输出一个标量，它的意思是在使用actor $\pi$π，看到状态s，采取动作a之后的累积期望奖励值。

（3）估计$V^{\pi}(s)$Vπ(s)和$Q^{\pi}(s,a)$Qπ(s,a)的方法有：

• 基于MC的方法：The critic watches ???? playing the game .$G_a$Ga​
• 时序差分(TD)方法：$V^{\pi}(s_{t+1})-V^{\pi}(s_t)=r_t$Vπ(st+1​)−Vπ(st​)=rt​

各自的优缺点如下：

• MC的方法是无偏的，但是方差大，而且学习时必须等到每个episode结束，所以学习速度很慢。
• TD的不用等到每个episode结束再学习，它的速度很快，方差小，但是可能有偏差。

（4）Q-learning

三，策略网络与估值网络的融合：Actor-Critic即A3C

有模型强化学习