Python中超定非线性方程组的数值求解答案

【问题标题】：Numerical solving of overdetermined, nonlinear equation system in PythonPython中超定非线性方程组的数值求解
【发布时间】：2016-02-29 11:39:54
【问题描述】：

这是我的问题的一个最小示例 - 使用 scipy.optimize.leastsq 解决

from scipy.optimize import leastsq
from numpy import array, exp, sin, cos

def MatrixFun(x, *par):
    a, b, c, d = par
    m11 = a*sin(x[0])+b*cos(x[1])
    m12 = c*cos(x[0])*sin(x[1])
    m21 = c*sin(x[0])/cos(x[1])
    m22 = d*exp(x[0]*x[1])
    M = array([[m11, m12], [m21, m22]])
    return M

def Residualvector(x, parameters):
    MatrixAim = MatrixFun([-1 , 1], *parameters)
    return (MatrixFun(x, *parameters)-MatrixAim).flatten()

parameters = [1, 2, 3, 4]
start = [0, 0]
print(leastsq(Residualvector, start, args=parameters))

问题：

需要良好的起点

在我的实际系统中无法收敛到所需值

我需要 x 的约束

这是我对示例问题的强力解决方案

from numpy import ones, array, arange, exp, sin, cos, sum, abs, argmin
from itertools import product as iterprod

def MatrixFun(x, *par):
    a, b, c, d = par
    m11 = a*sin(x[0])+b*cos(x[1])
    m12 = c*cos(x[0])*sin(x[1])
    m21 = c*sin(x[0])/cos(x[1])
    m22 = d*exp(x[0]*x[1])
    M = array([[m11, m12], [m21, m22]])
    return M  

def ResidualMatrix(x, parameters):
    MatrixAim = MatrixFun([-1 , 1], *parameters)
    return MatrixFun(x, *parameters)-MatrixAim

def MyBruteMatrixMinimizer(ResidualMatrix, ranges, args=()):
    pathongrid = list(iterprod(*ranges))
    pathlength = len(pathongrid)
    MatSum = ones(pathlength)
    for i in range(pathlength):
        MatSum[i] = sum(abs(ResidualMatrix(pathongrid[i], args)))
    pathgoal = pathongrid[argmin(MatSum)]
    return pathgoal

parameters = [1, 2, 3, 4]
ranges = [arange(-2,0,1e-2), arange(0,2,1e-2)]

print(MyBruteMatrixMinimizer(ResidualMatrix, ranges, args=parameters))

问题：

慢

稳定性不清楚

我宁愿使用 scipy.optimize.brute 或 scipy.optimize.basinhopping 两者都会导致错误 TypeError: fsolve: there is a mismatch between the input and output shape of the 'func' argument 'F'。这很清楚，因为我的矩阵的方程多于变量（超定）。
到目前为止，我唯一的想法是总结尽可能多的方程的绝对值以减小输出形状大小 - 但我对此绝对不满意。
我将非常感谢替代或改进的解决方案或任何其他建议。

【问题讨论】：

这不是一个可行的例子，我并没有真正得到你想要实现的目标。顺便说一句，您可能更喜欢使用 scipy.pi 而不是在脚本中为 pi 提供值。

标签： python matrix scipy numeric nonlinear-optimization

【解决方案1】：

我通常不使用最小二乘，而是使用良好的 NLP（非线性规划）求解器。这意味着，对于 F(x)=b 明确形式：

min w'w
F(x) = b + w

当然，对于我们想要关注的任何重要的 NLP：

提供良好的界限（确保可以评估所有函数和梯度）
提供一个好的起点
注意缩放
注意奇点。例如。你有一个部门可能应该重新制定
如果不使用具有自动微分功能的建模系统，请指定正确和精确的梯度（如果需要，还可以指定二阶导数）。对于复杂的我建议使用支持自动微分和多个非线性求解器的建模系统（例如GAMS 或AMPL）。

【讨论】：