贝叶斯随机最优控制，MCMC

Question

我有一个希望使用某种基于贝叶斯模拟的框架来解决的随机最优控制问题。我的问题有以下一般结构：

s_t+1 = r*s_t(1 - s_t) - x_t+1 + epsilon_t+1
x_t+1 ~ Beta(u_t+1, w_t+1)
u_t+1 = f_1(u_t,w_t, s_t, x_t)
w_t+1 = f_2(u_t,w_t, s_t, x_t)
epsilon_t ~ Normal(0,sigma)
objective function: max_{x_t} E(Sigma_{t=0}^{T} V(s_t,x_t,c) * rho^t)

我的目标是探索 f_1、f_2 和 V 的不同函数形式，以确定该模型与非随机模型和另一个更简单的随机模型有何不同。

状态变量是 s_t，控制变量是 x_t，u_t 和 w_t 代表对当前状态的某种信念。目标函数是时间段 t=0 到 t=T 内增益（函数 V）的折现最大值。

我正在考虑使用 Python，特别是 PyMC 来解决这个问题，虽然我不确定如何进行，特别是如何优化控制变量。我找到了一本书，出版于 1967 年，Masanao Aoki 的随机系统优化，其中引用了一些可能有用的贝叶斯技术，是否有当前的 Python 实现可能会有所帮助？或者有没有更好的方法来模拟最佳路径，使用 Python？

Answer 1

我想到的第一个猜测是尝试像chainer 或theano 这样的神经网络包，它们可以跟踪成本函数相对于控制函数参数的导数；他们还有一堆优化插件例程。您可以使用numpy.random 生成样本（粒子），从库组件中组合您的控制函数，并通过显式欧拉方案运行它们以进行首次尝试。这将为您提供粒子的成本函数及其相对于参数的导数，可以将其提供给优化器。

这里可能出现的问题是求解器的迭代将创建大量衍生跟踪对象。

更新：请看this example on Github

在 Github 上也有很多点击关键字 particle filter python:

https://github.com/strohel/PyBayes

https://github.com/jerkern/pyParticleEst

还有a manuscript around 提到作者在 Python 中实现了过滤器，所以你可能想联系他们。