斯坦福&Google | 面向机器人的机器学习（附63页PPT下载）

来源：专知

本文多图，建议阅读9分钟

附“机器人技术”的论文知识资料下载~

[ 导读 ]机器人在社会上有很多应用，比如今年双十一我们明显感到快递变得更快了！这背后就有分拣机器人的功劳~除此之外，机器人在搜救，太空探索，手术等很多方面都有应用。而为了让机器人能够更好地服务于人类，让机器模仿人的行为，智能变的更加必不可少。

来自斯坦福与Google Research的Chelsea Finn为我们介绍了面向机器人的机器学习。

《Machine Learning for Robots》教程的内容

基本知识与模仿学习：物体分类是一个监督学习的任务，处理的是独立同分布的数据，因此能够取得较好的结果。但是物体生产是一个序列决策任务，决策会影响到下一步的状态。模仿学习又称“行为克隆”，它很简单，但是需要人类的监督信息，并且天花板就是人类。并且，由于它的错误是累积的，可能每一步差之毫厘，最终结果就会失之千里。
基于模型的强化学习：基于模型的强化学习有几种实现方式。1. 随机采样，动态训练。优点是简单，但是缺点也很明显，会遇到分布不匹配的问题。2. 迭代地采样，逐步优化模型。优点是解决了分布不匹配的问题。3. 使用MPC迭代的采样。优点是对小的模型的错误鲁棒，缺点是计算复杂。
输入为图片的基于模型的强化学习：如果反馈信号为高维数据（如图片）时，基于模型的强化学习主要有两种方案：在隐空间学习，即学习反馈信号的表示，然后在隐空间做基于模型的强化学习（基于概率的方法、结构化方法（空间或者以物体为中心的结构化表示））；直接在观察空间学习：使用深度学习，预测可能得到的反馈信号（视频），再与实际的反馈信号相比，最小化。
机器人学习的一些挑战：理解和转化一些复杂的命令；新环境的适应性；收集大量数据并从中学习。