对数似然的 fmincon 的快速替代方案

Question

我目前正在使用 fmincon 来最小化 18*18 矩阵的对数似然函数。虽然在较小的问题上算法非常快，但在当前设置中收敛大约需要 2 小时 - 因为我正在迭代这个最小化问题，运行代码可能需要长达 2 周的时间。

是否有基于 matlab 的免费替代 fmincon 可以提高此类特定问题的速度？ （昂贵的解决方案在here 讨论，非matlab 解决方案here。）或者我需要打电话给例如来自matlab的python脚本？

我要最小化的函数：

function [L] = logL(A, U, Sigma_e, T, lags)
% A - parameters to optimize w.r.t

logL = 0;
for t = 1 : T - lags
   logL(t, 1) = 0.5*(log(det(A * diag(Sigma_e(t,:)) * A' ) ) + ...
                U(t,:) * (A * diag(Sigma_e(t,:))  * A' )^(-1) *  U(t,:)' );

end
L = sum(logL);

并通过以下方式调用它：

Options = optimset('Algorithm', 'active-set', 'Display', 'off', 'Hessian','bfgs', ...
'DerivativeCheck','on','Diagnostics','off','GradObj','off','LargeScale','off'); 


A = fmincon( @(A0)logL(A0, U, Sigma_e, T, lags), A0 , [], [] , [] , [] , [] , [] , [], Options); 

（我尝试了不同的 fmincon 算法，但没有太大改进）。注意，T 相当大~3000。 A 和 A0 是一个 18*18 的矩阵， Sigma_e 为 T*18， U是T*18

Answer 1

我不知道fminconst 的任何快速替代方案，但您可以对logL 函数进行矢量化以加快算法速度。这是一个矢量化的版本：

function [L] = logL(A, U, Sigma_e, T, lags)
    ia = inv(A);
    iat = ia.';
    N = T - lags;
    UU = zeros(N,1); 
    for t = 1: N
        UU (t) = U(t,:) * (iat .* 1./Sigma_e(t,:) * ia) * U(t,:)';
    end

    L =  0.5 *sum( log(det(A) ^ 2  .* prod(Sigma_e(1:N,:),2)) + UU);
end

在 Octave 的一些测试中，它几乎比您的解决方案快 10 倍。

请注意，如果Sigma_e 的某些元素等于零，您需要将UU 计算为：

UU (t)=U(t,:) * (A * diag(Sigma_e(t,:))  * A' )^(-1) *  U(t,:)';

这些关系用于将循环解转换为向量化解：

det(a * b * c) == det(a) * det(b) * det(c)

det(a) == det(a.')

det(diag(a)) == prod(a)

(a * b * c)^-1 == c^-1 * b^-1 * a^-1

a * diag(b) == a .* b

inv(diag(a)) == diag(1./a)