【发布时间】:2017-12-25 17:23:25
【问题描述】:
金融和强化学习中的一个常用术语是基于原始奖励时间序列R[i] 的折扣累积奖励C[i]。给定一个数组R,我们想计算C[i],满足C[i] = R[i] + discount * C[i+1]和C[-1] = R[-1]的递归(并返回完整的数组C)。
在 python 中使用 numpy 数组计算它的数值稳定方法可能是:
import numpy as np
def cumulative_discount(rewards, discount):
future_cumulative_reward = 0
assert np.issubdtype(rewards.dtype, np.floating), rewards.dtype
cumulative_rewards = np.empty_like(rewards)
for i in range(len(rewards) - 1, -1, -1):
cumulative_rewards[i] = rewards[i] + discount * future_cumulative_reward
future_cumulative_reward = cumulative_rewards[i]
return cumulative_rewards
但是,这依赖于 python 循环。鉴于这是一个如此常见的计算,肯定有一个现有的矢量化解决方案,它依赖于一些其他标准函数,而不诉诸 cythonization。
请注意,任何使用 np.power(discount, np.arange(len(rewards)) 之类的解决方案都不会稳定。
【问题讨论】:
-
@CrazyIvan 同意,我有点马虎,会解决的。
-
@CrazyIvan 哦,那是另一个错误,你回答正确,但我没有问我想要的问题。对于那个很抱歉。 (我已经修改了问题;for 循环仍然是应该被矢量化的同一个循环)。