R中的加权非负最小二乘

Question

我想在 R 中执行加权非负最小二乘法（即所有拟合系数 >=0 的约束）。 nnls 包中的 nnls 函数似乎不支持权重。我是否正确，我可以通过在nnls 函数中通过将协变量矩阵X 和因变量y 乘以weights 向量的平方根来模拟weights，这似乎表明@ 987654321@?还是有更好的方法来做到这一点？

Answer 1

1) nnls 是的，它是等价的，因为加权最小二乘法最小化：

sum( w * (Y - X %*% beta)^2 )
= sum_i( (sqrt(w[i]) * X[i, ] %*% beta - sqrt(w[i]) * Y[i])^2 )

受到限制，其中 sum_i 表示 i 上的总和。因此sqrt(w[i]) 将 X 的第 i 行和 Y 的第 i 个元素相乘，这相当于使用 sqrt(w) * X 和 sqrt(w) * Y。 （请注意，这些也分别等于diag(sqrt(w)) %*% X 和c(diag(sqrt(w)) %*% Y)。）

2) CVXR CVXR 包可以直接进行加权非负最小二乘。在其小插图中有一个执行非负最小二乘法的示例。

vignette("cvxr_intro")

只需更改代码中的目标以添加权重：

objective <- Minimize(sum((w *(Y - X %*% betaHat)^2)))

3) nls nls 附带的 R 可以做非负加权最小二乘，如果你使用下界为 0 的 port 算法。（在下面的代码中，我们有从零开始，通常从边界开始不是一个好主意，但考虑到这里的线性，这真的无关紧要。）

zeros <- numeric(ncol(X))
nls(Y ~ X %*% b, start = list(b = zeros), weights = w, lower = zeros, alg = "port")

运行所有三种方法来仔细检查答案。