OpenAi 基线实施中的 PPO 更新计划答案

【问题标题】：PPO Update Schedule in OpenAi Baselines ImplementationsOpenAi 基线实施中的 PPO 更新计划
【发布时间】：2018-04-12 18:01:32
【问题描述】：

我正在尝试通读 OpenAi RL 算法的基线实现 (https://github.com/openai/baselines) 中的 PPO1 代码，以更好地了解 PPO 的工作原理、如何实现它等。

我对输入“learn()”函数的“optim_batchsize”和“timesteps_per_actorbatch”参数之间的区别感到困惑。这些超参数是什么？

另外，我在“run_atari.py”文件中看到，“make_atari”和“wrap_deepmind”函数用于包装环境。在“make_atari”函数中，它使用“EpisodicLifeEnv”，一旦失去生命就结束情节。平均而言，我看到训练开始时的情节长度约为 7 - 8 个时间步长，但批量大小为 256，所以我看不到如何发生任何更新。提前感谢您的帮助。

【问题讨论】：

标签： machine-learning artificial-intelligence reinforcement-learning openai-gym

【解决方案1】：

我自己也经历过它......他们的代码是一场噩梦！ optim_batchsize 是用于优化策略的批量大小，timesteps_per_actorbatch 是代理在优化之前运行的时间步数。

关于偶发事件，我不确定。有两种可能发生的情况，一种是等到 256 个条目被填满后再实际更新，另一种是用什么都不做的虚拟数据填充批次，实际上只更新剧集持续的 7 或 8 个步骤。

【讨论】：