从 Octave 的 fminunc 到 Julia 的带参数的梯度函数优化

Question

我将我的代码从 octave 传递给 julia，在这种情况下是逻辑回归。除了初始 theta 之外，梯度函数还需要 X 和我的特征，Y 和寻找的值。

在 Octave 作品中

function [J, grad] = costFunction(theta, X, y)
options = optimset('GradObj', 'on', 'MaxIter', 400);
[theta, cost] = fminunc(@(t)(costFunction(t, X, y)), initial_theta, options);

关于 Julia 的第一次尝试

optimize(t->CostFunction(t, X1, y), initial_theta, BFGS())

MethodError: 没有方法匹配 -(::Tuple{Float64,Array{Float64,2}}, ::Tuple{Float64,Array{Float64,2}})

所以我将函数分为两部分：成本和梯度

function CostFunction2(theta, X, y)
J = 0;
#m = length(y);
m = size(y,1);
grad = zeros(size(theta));
J = 1/m * sum( (-y .* log.(sigmoid(X*theta))) - ((1.0 .- y) .* log.(1.0 .- sigmoid(X*theta))) );
return J;
end


function Gradient2(X, y, theta)
grad = zeros(size(theta));
grad = (1/m) .* (sum((sigmoid(X*theta).-y) .* X, dims=1))';
return grad;
end

我只输入了成本函数并且它有效，但我没有最后的 theta 值。不知道怎么弄

optimize(t->CostFunction2(t, X1, y), initial_theta, BFGS())

我试过了，但没有用，我找不到任何说明如何或提供示例的参考

optimize(t->CostFunction2(t, X1, y), Gradient2(X, y, t), initial_theta, BFGS())

UndefVarError: t 未定义

如何获得获得的 theta 值？以及如何将我自己的梯度函数包含在各种参数中？

希望你能帮帮我，非常感谢

Answer 1

我已经清除了您代码中的拼写错误，添加了缺失的定义，并删除了不必要的操作。

在这些更改之后，以下工作：

using DelimitedFiles

Data = readdlm("ex2data1.txt", ',', Float64)
X = Data[:,1:2]
y = Data[:,3]
m, n = size(X)
X = [ones(m) X]
initial_theta = zeros(n + 1)

sigmoid(x) = 1 / (1 + exp(-x))

function CostFunction2(theta, X, y)
    Xt = X*theta # do this step outside as it is repeated twice otherwise
    return sum(-y .* log.(sigmoid.(Xt)) .- (1.0 .- y) .* log.(1.0 .- sigmoid.(Xt)))
end

using Optim
optimize(t->CostFunction2(t, X, Y), initial_theta, BFGS())