强化学习路线图

https://zhuanlan.zhihu.com/p/104224859?utm_oi=566394839504048128

人工智能是21世纪最激动人心的技术之一。人工智能，就是像人一样的智能，而人的智能包括感知、决策和认知(从直觉到推理、规划、意识等)。其中，感知解决what，深度学习已经超越人类水平；决策解决how，强化学习在游戏、机器人等领域取得了一定效果；认知解决why，知识图谱、因果推理、持续学习以及脑机融合等正在研究。

强化学习，采用交互试错学习的方式解决序贯决策问题，因此必然是通往通用人工智能的终极钥匙。其中，AI 1.0 符号学派， AI 2.0 联结学派，AI 3.0不管是结合也好，另辟蹊径也好，必然离不开行为学派，因为这是自然智能的学习方式。我特别喜欢强化学习，深深被其框架所吸引，智能体通过与环境交互来成长，这不就是生命的进化规律嘛！

[1]

---

1 视频（从入门到“放弃“）

[2]

• 短小精悍，入门级，我的代码框架跟凡哥学的

​github.com/AndyYue1893/Reinforcement-learning-with-tensorflow

1.2 台大_李宏毅_深度强化学习(国语)课程(2020)、PPT、笔记 ★★★★★

• 通透，有趣，专业，启发

​speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html

1.3 DeepMind_David Silver_UCL深度强化学习课程(2015)、PPT、笔记及代码

文章

1.4 UC Berkeley_Sergey Levine_CS285(294)深度强化学习(2019)、PPT、代码

​rail.eecs.berkeley.edu/deeprlcourse/

​github.com/berkeleydeeprlcourse/homework

1.5 Stanford_Emma Brunskill_CS234: Reinforcement Learning | Winter 2019

2 书籍

2.1 强化学习圣经_Rich Sutton_中文书、英文电子书、代码 ★★★★★

• 基础，难啃，经典，有助于理解强化学习精髓

​item.jd.com/12696004.html

​github.com/AndyYue1893/reinforcement-learning-an-introduction

2.2 深入浅出强化学习：原理入门 ★★★★★

• 我的第一本入门书，透彻

2.3 Python深度学习：基于PyTorch[Deep Learning with Python and PyTorch] ★★★★

• 思路简洁、清晰，内容经典、精华，深度强化学习的PyTorch深度学习基础

​item.jd.com/12590209.html

2.4 Python强化学习实战_Sudharsan Ravichandiran、代码 ★★★

• 上手快，代码清晰

​item.jd.com/12506442.html

2.5 强化学习精要_冯超 ★★★

• 从基础到前沿，附代码

​item.jd.com/12344157.html

2.6 Reinforcement Learning With Open AI TensorFlow and Keras Using Python_OpenAI

• 注重实战（提取码: av5p）

​pan.baidu.com/s/1nQpNbhkI-3WucSD0Mk7Qcg

3 教程

3.1 莫烦Python ★★★★★

• 通俗易懂，快速入门

3.2 OpenAI Spinning Up英文版、中文版、介绍by量子位 ★★★★★

• 字字精华，不解释，包括原理、算法、论文、代码

​spinningup.openai.com/en/latest/

​spinningup.readthedocs.io/zh_CN/latest/index.html

3.3 Stable Baselines3

• PyTorch实现代码

4 代码

e-baselines3 ，推荐以下个人实现参考：

4.1 sweetice

• 我很喜欢

4.2 p-christ

• 17种经典算法

​github.com/p-christ/Deep-Reinforcement-Learning-Algorithms-with-PyTorch

4.3 张楚珩

5 算法

回答

三大经典算法，当然首推还是PPO(clip+gae)，集大成是SAC，大规模分布式用APPO，IMPALA

5.1 DQN(连续状态、离散动作)

​storage.googleapis.com/deepmind-data/assets/papers/DeepMindNature14236Paper.pdf

5.2 DDPG(连续状态、连续动作)

​proceedings.mlr.press/v32/silver14.pdf

5.3 A3C & A2C(连续状态、连续动作)

6 环境

6.1 OpenAI Gym

​gym.openai.com/

6.2 Mujoco

​www.mujoco.org/

6.3 通用格子世界环境类

文章

7 算法库

回答

7.1 小雅：ElegantRL

• 轻量-高效-稳定

​github.com/AI4Finance-Foundation/ElegantRL

7.2 OpenAI Baselines & Stable Baselines

• 集成度高，经典必读

​github.com/openai/baselines

7.3 百度 PARL

• 扩展性强，可复现性好，支持百度AI

​github.com/paddlepaddle/parl

7.4 DeepMind OpenSpiel（仅支持Debian和Ubuntu）

• 28种棋牌类游戏和24种算法

7.5 清华 tianshou

• fast-speed modularized framework and pythonic API

• 完美复现paper结果

8 论文

8.1 Spinning Up推荐论文 ★★★★★

8.2 清华张楚珩 ★★★★★

文章

8.3 NeuronDance ★★★★

​github.com/AndyYue1893/DeepRL-1/tree/master/A-Guide-Resource-For-DeepRL

8.4 paperswithcode ★★★★

​github.com/AndyYue1893/pwc

9 PPT

9.1 Reinforcement learning_Nando de Freitas_DeepMind_2019

​pan.baidu.com/s/1KF10W9GifZCDf9T4FY2H9Q

9.2 Policy Optimization_Pieter Abbeel_OpenAI/UC Berkeley/Gradescope

​pan.baidu.com/s/1zOOZjvTAL_FRVTHHapriRw&shfl=sharepset

10 会议&期刊

10.1 会议：NIPS、ICML、ICLR、AAAI、IJCAI、AAMAS、IROS等

10.2 期刊：AI、JMLR、JAIR、Machine Learning、JAAMAS等

10.3 计算机和人工智能会议（期刊）排名

​www.aminer.cn/ranks/conf/artificial-intelligence-and-pattern-recognition

11 公众号

11.1 深度强化学习实验室　★★★★★

11.2 机器之心

11.3 AI科技评论

11.4 新智元

12 知乎

12.1 用户

JQWang2048 等等

12.2 专栏

David Silver强化学习公开课中文讲解及实践（叶强，比较经典）

强化学习知识大讲堂（《深入浅出强化学习：原理入门》作者天津包子馅儿）

Flood Sung：最前沿：深度强化学习的强者之路）

深度强化学习落地方法论（西交 大牛，实操经验丰富）

深度强化学习（知乎：JQWang2048，GitHub：NeuronDance，CSDN：J. Q. Wang）

神经网络与强化学习（《Reinforcement Learning: An Introduction》读书笔记）

强化学习基础David Silver笔记（陈雄辉，南大，DiDi AI Labs）

13 博客

13.1 Lil（OpenAI）　★★★★★

​lilianweng.github.io/lil-log/

13.2 草帽BOY

​blog.csdn.net/u013236946/category_6965927.html

13.3 J. Q. Wang

​blog.csdn.net/gsww404

pilot Vision 部门主管）

​karpathy.github.io/

13.5 Keavnn

​stepneverstop.github.io/

13.6 大卜口(谷歌大脑研究科学家 David Ha)

14 官网

14.1 OpenAI

14.2 DeepMind

​www.deepmind.com/

14.3 UC Berkeley

 

参考

1. ^强化学习路在何方 https://mp.weixin.qq.com/s/CO4TjKbdCakxv2ldRg3cUw
2. ^★仅代表个人喜好