强化学习 之重要性采样
强化学习 之重要性采样

强化学习 之重要性采样
重要性用于离线蒙特卡洛的不足:
强化学习 之重要性采样
(1)使用重要性采样时会用什么方法避免pi非零而mu为零的问题?
一般使用一些平滑算法,例如拉普拉斯一类的平滑
强化学习 之重要性采样
这里beta是平滑的超参数。
还有一种就是clip,也就是ratio如果绝对值超过了某个阈值a,那就设置成这个a值(符号不变)。
这些方法其实都是损失了一点点bias,来换来bias的巨大下降。

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

如果大家喜欢这篇文章的话,希望大家收藏、转发、关注、评论、点赞,转载请注明出自这里。 PS:本随笔属个人学习小结,文中内容有参考互联网上的相关文章。如果您博文的链接被我引用,我承诺不会参杂经济利益;如果有版权纠纷,请私信留言。其中如果发现文中有不正确的认知或遗漏的地方请评论告知,谢谢! 还是那句话:不是我喜欢copy,是站在巨人的肩膀上~~

相关文章:

  • 2022-01-14
  • 2021-07-18
  • 2021-10-31
  • 2022-12-23
  • 2021-06-30
  • 2021-06-05
  • 2021-10-29
  • 2021-12-18
猜你喜欢
  • 2021-12-17
  • 2022-12-23
  • 2021-12-12
  • 2022-12-23
  • 2021-04-11
  • 2021-06-25
  • 2021-09-17
相关资源
相似解决方案