课程资料参见：https://github.com/zhoubolei/introRL
课件：https://github.com/zhoubolei/introRL/blob/master/lecture1.pdf
数列决策过程
机器感知和机器决策结合起来
和监督学习对比学习
监督学习：有标签
强监督学习会希望数据尽量的i.i.d（IID即随机的）可以消除数据之间的相关性
无监督学习：无标签
强化学习：
1.先尝试在返回结果，通过不停地试错返回结果
2.数据以序列形式输入，监督形式样本是独立的
关注如何让agent稳定的提升
卷积神经网络之后将特征提取和分类合在一起
如何让agent取得长期rewards
环境状态和agent状态相同时等价的时候环境全部可以观测
强化学习agent的三个组成成分：
1.决策函数police function：用来选取下一步的动作
2.价值函数value function：对当前状态进行估价（评估进入当前的状态会为后面带来多大的影响）
价值函数越大进入这个状态越有利
3.模型（modle）：agent对环境进行的整个理解，决定了下一步如何进行
马尔科夫决策过程
- 基于价值函数的agent：不使用决策函数，在价值函数中推测police
- 基于police的agent：不使用价值函数
- 两个都用
通过模型使用不同分类：
看会否有环境转移模型