共轭梯度法

共轭梯度法也可以用于求解无约束的最优化问题。

双共轭梯度法提供了一种处理非对称矩阵情况的推广。

设我们要求解下列线性系统

，

其中n-×-n矩阵A是对称的（也即，A^T = A），正定的（也即，x^TAx > 0对于所有非0向量x属于Rⁿ），并且是实系数的。

将系统的唯一解记作x_*。

经过一些简化，可以得到下列求解Ax = b的算法，其中A是实对称正定矩阵。

x₀ := 0

k := 0

r₀ := b

repeat until r_k is "sufficiently small":

k := k + 1

if k = 1

p₁ := r₀

else

end if

x_k := x_k-1 + α_k p_k

r_k := r_k-1 - α_k A p_k

end repeat

结果为x_k