学习笔记：
Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto c 2014, 2015, 2016
参照
- Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto c 2014, 2015, 2016
- 强化学习读书笔记 - 00 - 术语和数学符号
- 强化学习读书笔记 - 01 - 强化学习的问题
- 强化学习读书笔记 - 02 - 多臂老O虎O机问题
- 强化学习读书笔记 - 03 - 有限马尔科夫决策过程
- 强化学习读书笔记 - 04 - 动态规划
- 强化学习读书笔记 - 05 - 蒙特卡洛方法(Monte Carlo Methods)
- 强化学习读书笔记 - 06~07 - 时序差分学习(Temporal-Difference Learning)
- 强化学习读书笔记 - 08 - 规划式方法和学习式方法
- 强化学习读书笔记 - 09 - on-policy预测的近似方法
- 强化学习读书笔记 - 10 - on-policy控制的近似方法
- 强化学习读书笔记 - 11 - off-policy的近似方法
- 强化学习读书笔记 - 12 - 资格痕迹(Eligibility Traces)
- 强化学习读书笔记 - 13 - 策略梯度方法(Policy Gradient Methods)
停在这里了
从这一章开始叫做Looking Deeper。
讲的有心理学(Psychology)，神经科学(Neuroscience) 和强化学习的联系，
还有强化学习的应用和案例(Applications and case studies)和前沿(Frontiers)。
基本上需要大量的翻译。这不是我的特长。
所以我的笔记先停在这里了。
心理学(Psychology)
术语
- reinforcement
在心理学中，指动物接收到一个刺激（或者经历一个刺激的消失），行为和另一个刺激（或者反应）的关联模式得到了（强度或者频率上的）加强。 - reinforcer - 强化刺激
- reward - 奖赏
让动物认知好行为的事物或者事件。 - penalty - 惩罚
让动物认知坏行为的事物或者事件。 - reinforcement signal - 加强信号
加强信号的一个例子：TD error。 - action
- control
在强化学习中，控制是指本体影响它的环境，带来期望的状态或者事件。 - stimulus-response learning - 刺激-反应学习
- prediction algorithm
- control algorithm
Policy improvement algorithms - unconditioned responses
- unconditioned stimulus
- conditioned responses
- conditioned stimulus
- classical conditioning - 条件反射
算法列表
2
A simple bandit algorithm
4
Iterative policy evaluation
Policy iteration (using iterative policy evaluation)
Value iteration
5
First-visit MC policy evaluation (returns V v)
Monte Carlo ES (Exploring Starts)
On-policy rst-visit MC control (for "-soft policies)
Incremental o-policy every-visit MC policy evaluation
O-policy every-visit MC control (returns )
6
Tabular TD(0) for estimating v
Sarsa: An on-policy TD control algorithm
Q-learning: An o-policy TD control algorithm
Double Q-learning
7
n-step TD for estimating V v
n-step Sarsa for estimating Q q, or Q q for a given
O-policy n-step Sarsa for estimating Q q, or Q q for a given
n-step Tree Backup for estimating Q q, or Q q for a given
O-policy n-step Q() for estimating Q q, or Q q for a given
8
Random-sample one-step tabular Q-planning
Tabular Dyna-Q
Prioritized sweeping for a deterministic environment
9
Gradient Monte Carlo Algorithm for Approximating ^v v
Semi-gradient TD(0) for estimating ^v v
n-step semi-gradient TD for estimating ^v v
LSTD for estimating ^v v (O(n2) version)
10
Episodic Semi-gradient Sarsa for Control
Episodic semi-gradient n-step Sarsa for estimating ^q q, or ^q q
Dierential Semi-gradient Sarsa for Control
Dierential semi-gradient n-step Sarsa for estimating ^q q, or ^q q
12
Semi-gradient TD() for estimating ^v v
True Online TD() for estimating > v
13
REINFORCE, A Monte-Carlo Policy-Gradient Method (episodic)
REINFORCE with Baseline (episodic)
One-step Actor-Critic (episodic)
Actor-Critic with Eligibility Traces (episodic)
Actor-Critic with Eligibility Traces (continuing)