相同的优化代码在不同的计算机上产生不同的结果

Question

我正在运行嵌套优化代码。

sp.optimize.minimize(fun=A, x0=D, method="SLSQP", bounds=(E), constraints=({'type':'eq','fun':constrains}), options={'disp': True, 'maxiter':100, 'ftol':1e-05})

sp.optimize.minimize(fun=B, x0=C, method="Nelder-Mead", options={'disp': True})

第一个最小化是函数 B 的一部分，所以它是在第二个最小化内部运行的。

而且整个优化都是基于数据的，不涉及随机数。

我在两台不同的计算机上运行完全相同的代码，得到完全不同的结果。

我安装了不同版本的anaconda，但是

scipy、numpy 和所有使用的包都有相同的版本。

我认为操作系统并不重要，但一个是 windows 10（64 位），另一个是 windows 8.1（64 位）

我正在尝试找出可能导致此问题的原因。

即使我没有说明所有选项，但如果两台计算机运行相同的代码，结果不应该相同吗？

或者对于 sp.optimize 是否有任何选项可以将默认值设置为因计算机而异？

附言。我在看选项“eps”。这些计算机上的“eps”默认值是否可能不同？

Answer 1

您永远不应该期望数值方法在不同的设备上执行相同的操作；甚至在同一设备上不同运行相同的代码。由于机器的有限精度，您永远无法计算“真实”结果，而只能计算数值近似值。在长时间的优化任务中，这些差异可以总结出来。

此外，一些优化方法在内部使用某种随机性来解决陷入局部最小值的问题：它们在先前计算的解决方案中添加了一个小的、几乎消失的噪声，以使算法在全局范围内更快地收敛最小值，而不是陷入局部最小值或鞍点。

你能试着画出你想要最小化的函数的风景吗？这可以帮助您分析问题：如果两个结果（在每台机器上）都是局部最小值，那么这种行为可以通过我之前的描述来解释。

如果不是这样，您应该检查您在两台机器上安装的scipy 的版本。也许您在一台设备上隐式使用 float 值，而在另一台设备上也隐式使用 double 值？

你看：对于这个（乍一看）奇怪的数字行为有很多可能的解释；你必须给我们更多的细节来解决这个问题。