《Reinforcement Learning》 读书笔记 2：多臂老虎机（Multi-armed Bandits）

《Reinforcement Learning: An Introduction》 读书笔记 - 目录

Reinforcement Learning 和 Supervised Learning 的区别

evaluate vs instruct

• 也就是说，RL的对于每一个action的效果不是非黑即白的，而是在每一次的action之后都可能不一样的后果（feedback, reward）
  
  • 非iid，基于不同环境 和/或 之前的 actions
  • reward可能是随机的

定义问题（ k-armed bandit problem）

• k种actions => k个reward R$R$ 的平稳分布
• 目标
  
  • max E(∑Rt)$maxE(\sum R_t)$

一些概念

exploitation vs exploration (EE)

• exploitation: greedy move
• exploration: nongreedy trial

reward & value

the value of an action a$a$, denoted q∗(a)$q_{\ast }(a)$, is the expected reward given that a$a$

• i.e. q∗(a)=E[Rt|At=a]$q_{\ast }(a)=E[R_t|A_t=a]$
• 用经验分布近似估计：
  
  • Qt(a)=∑t−1i=1Ri⋅1Ai=a∑t−1i=11Ai=a$Q_t(a)=\frac{\sum _{i=1}^{t-1}{R}_i\cdot 1_{A_i=a}}{\sum _{i=1}^{t-1}{1}_{A_i=a}}$
  • 迭代式（在执行某个a$a$后）：
    Qt(a)=Qt−1+1t(Rt(a)−Qt−1)=Qt−1+α(t)(Rt(a)−Qt−1)$$\begin{gathered} Q_t(a)=Q_{t-1}+\frac{1}{t}(R_t(a)-Q_{t-1}) \\ =Q_{t-1}+\alpha (t)(R_t(a)-Q_{t-1}) \end{gathered}$$
• 更广义的，New=Old+StepSize⋅(Target−Old)$New=Old+StepSize\cdot (Target-Old)$
  
  • 这里，StepSize可以是单调减的，常数(指数平滑), …

几种方法

ε$\epsilon$-greedy

• 算法
  
  • 以p=1−ε$p=1-\epsilon$ 执行greedy action (exploitation)
  • 以p=ε$p=\epsilon$ 执行nongreedy action (exploration)
• 优点
  
  • 实现简单
  • 效果不会太差，即使分布是非平稳的
• 缺点
  
  • 通常收敛比较慢
  • 单纯的ε$\epsilon$-greedy收敛后执行最优action(greedy)的比例为1−ε<1$1-\epsilon <1$
• 优化点
  
  • ε$\epsilon$ 随时间减小
  • 选一个大点的Q0(a)$Q_0(a)$
    
    • encourage exploration，选择足够大，能保证state space都覆盖到
    • 即使非平稳也没问题，因为影响只是暂时的

UCB（Upper-Confidence-Bound）

• 算法
  
  • At=argmaxa( Qt(a)+cln(t)/(Nt(a)+ϵ−−−−−−−−−−−−−√) )$A_t=argma{x}_a(Q_t(a)+c\sqrt{ln(t)/(N_t(a)+ϵ}))$
  • ϵ→0$ϵ\to 0$ 或1
  • c$c$是平衡EE的参数（类比置信度）
• 缺点
  
  • 适用范围没有ε$\epsilon$-greedy广，比如非平稳分布

Gradient Bandit

• 算法
  
  • 定义
    
    • Ht(a)$H_t(a)$为preference for action a
    • πt(a)=Pt(At=a)=softmaxt(Ht(a))${\pi }_t(a)=P_t(A_t=a)=softma{x}_t(H_t(a))$，非argmax
  • 迭代
    
    • Ht+1(At)=Ht(At)+α(Rt−R¯t)(1−πt(At))$H_{t+1}(A_t)=H_t(A_t)+\alpha (R_t-{\overline{R}}_t)(1-{\pi }_t(A_t))$
    • Ht+1(a)=Ht(a)−α(Rt−R¯t)πt(a), for all a≠At$H_{t+1}(a)=H_t(a)-\alpha (R_t-{\overline{R}}_t){\pi }_t(a),\text{ for all }a\ne A_t$
  • 推导
    
    • E(Rt)=∑xπt(x)q∗(x)$E(R_t)=\sum _x{\pi }_t(x)q_{\ast }(x)$
    • Ht+1(a)=Ht(a)+α∂E(Rt)∂Ht(a)=…$H_{t+1}(a)=H_t(a)+\alpha \frac{\mathrm{\partial }E(R_t)}{\mathrm{\partial }{H}_t(a)}=\dots$
• 优点
  
  • 通用思想，可以引申到后面的full RL问题中

其它

Bayesian methods(posterior sampling/Thompson sampling)

• 假设value服从某个（未知的）稳定分布f$f$
• 假设一个（确定的）先验分布fpri$f_{pri}$，执行一系列action，根据结果，得到后验分布fpost$f_{post}$（收敛于f$f$）
• e.g
  

如何比较（参数&算法）

• learning curve
  
  • x轴为参数，y轴为average sum of rewards (e.g of 1000 experiments)
    

其他点

associative search (contextual bandits)

• 就是包含不同situation (environment)的问题（但与former actions仍无关）
  

If actions are allowed to affect the next situation as well as the reward, then we have the full reinforcement learning problem.