【发布时间】：2019-12-07 02:14:57
【问题描述】：
在 PPO 的目标函数中，第二项引入了价值函数神经网络的平方误差损失。该术语本质上是平方优势值，对吗？
【问题讨论】：
【发布时间】：2019-12-07 02:14:57
【问题描述】：
不，这是训练 V 的 TD 误差。您可以将两个损失分开，并且没有任何变化，因为网络不共享参数。在实践中，策略是在方程的第一项上训练的，而 V 是在第二项上训练的。
【讨论】：
【发布时间】：2019-12-07 02:14:57
【问题描述】：