原因有两个：
1.如果最终策略是确定性策略，则基于策略估计的方法采用的softmax可以逼近找到最优解，即会出现pi（a|s）=1或0的情况；而基于行为值函数的估计的方法由于需指定ewuxilong-greedy策略中的ewuxilong参数，不能取得确定性策略，因为ewuxilong完全等于0意味着没有探索，其性能不会太好。
2.如果最优策略是随机策略，则基于策略估计的方法采用的softmax可以逼近相应的概率。
如这里的最优的选right的概率是0.59，而基于行为值函数估计的方法却得不到最优选right的概率
相关文章：