【问题标题】:How approximation search works近似搜索的工作原理
【发布时间】:2016-07-09 21:33:42
【问题描述】:

[序幕]

问答旨在更清楚地解释我在此处首次发布的近似搜索类的内部工作

我已经多次被要求提供有关此的更详细信息(出于各种原因),因此我决定就此编写 Q&A 风格的主题,以便将来可以轻松参考,并且不需要一遍又一遍地解释它。

[问题]

如何近似实域(double)中的值/参数以实现多项式、参数函数的拟合或求解(困难)方程(如超越)?

限制

  • 真实域名(doubleprecision)
  • C++ 语言
  • 可配置的近似精度
  • 已知的搜索间隔
  • 拟合的值/参数不是严格单调的或根本不起作用

【问题讨论】:

  • Dippy 问题:为什么 Runge-Kutta 或 Newton-Raphson 方法在这里不适用?
  • @ScottM 不是仅限于函数吗?
  • @Spektre:如果您要计算一阶导数(delta y's),那么通过 Runge-Kutta 进行积分或通过 Newton-Raphson 进行近似可能是更好的选择。还有自适应步长变体。
  • 我投票决定将此问题作为离题结束,因为 SO 是用于问答,而不是讨论。
  • “非单调”非常好; “不是函数”没有意义。如果它不是一个函数,那么我们在这里近似什么?我假设您的意思是非单调的连续函数,不一定具有封闭形式的定义。

标签: c++ math approximation


【解决方案1】:

近似搜索

这类似于二分搜索,但没有限制,搜索的函数/值/参数必须是严格的单调函数,同时共享 O(log(n)) 复杂度。

例如假设以下问题

我们已经知道函数y=f(x) 并且想要找到x0 这样y0=f(x0)。这基本上可以通过f 的逆函数来完成,但是有很多函数我们不知道如何计算它的逆。那么在这种情况下如何计算呢?

已知

  • y=f(x) - 输入函数
  • y0 - 通缉点 y
  • a0,a1 - 解决方案x 区间范围

未知数

  • x0 - 想要的点 x 值必须在范围内 x0=<a0,a1>

算法

  1. 探测一些点x(i)=<a0,a1>沿范围均匀分布,有一些步骤da

    例如x(i)=a0+i*dai={ 0,1,2,3... }

  2. 为每个x(i) 计算ee 的距离/误差y=f(x(i))

    这可以像这样计算:ee=fabs(f(x(i))-y0),但也可以使用任何其他指标。

  3. 记住点aa=x(i),距离/错误最小ee

  4. x(i)>a1时停止

  5. 递归提高准确性

    所以首先将范围限制为仅搜索找到的解决方案,例如:

    a0'=aa-da;
    a1'=aa+da;
    

    然后通过降低搜索步长来提高搜索精度:

    da'=0.1*da;
    

    如果da' 不是太小或者没有达到最大递归数,则转到#1

  6. 找到的解决方案在aa

这就是我的想法:

左侧是图示的初始搜索(项目符号 #1,#2,#3,#4)。在右侧下一个递归搜索(项目符号#5)。这将递归循环,直到达到所需的精度(递归次数)。每次递归都会将准确率提高10 倍(0.1*da)。灰色垂直线代表探测到的x(i) 点。

这里是 C++ 源代码:

//---------------------------------------------------------------------------
//--- approx ver: 1.01 ------------------------------------------------------
//---------------------------------------------------------------------------
#ifndef _approx_h
#define _approx_h
#include <math.h>
//---------------------------------------------------------------------------
class approx
    {
public:
    double a,aa,a0,a1,da,*e,e0;
    int i,n;
    bool done,stop;

    approx()            { a=0.0; aa=0.0; a0=0.0; a1=1.0; da=0.1; e=NULL; e0=NULL; i=0; n=5; done=true; }
    approx(approx& a)   { *this=a; }
    ~approx()           {}
    approx* operator = (const approx *a) { *this=*a; return this; }
    //approx* operator = (const approx &a) { ...copy... return this; }

    void init(double _a0,double _a1,double _da,int _n,double *_e)
        {
        if (_a0<=_a1) { a0=_a0; a1=_a1; }
        else          { a0=_a1; a1=_a0; }
        da=fabs(_da);
        n =_n ;
        e =_e ;
        e0=-1.0;
        i=0; a=a0; aa=a0;
        done=false; stop=false;
        }
    void step()
        {
        if ((e0<0.0)||(e0>*e)) { e0=*e; aa=a; }         // better solution
        if (stop)                                       // increase accuracy
            {
            i++; if (i>=n) { done=true; a=aa; return; } // final solution
            a0=aa-fabs(da);
            a1=aa+fabs(da);
            a=a0; da*=0.1;
            a0+=da; a1-=da;
            stop=false;
            }
        else{
            a+=da; if (a>a1) { a=a1; stop=true; }       // next point
            }
        }
    };
//---------------------------------------------------------------------------
#endif
//---------------------------------------------------------------------------

这是如何使用它:

approx aa;
double ee,x,y,x0,y0=here_your_known_value;
//            a0,  a1, da,n, ee  
for (aa.init(0.0,10.0,0.1,6,&ee); !aa.done; aa.step())
    {
    x = aa.a;        // this is x(i)
    y = f(x)         // here compute the y value for whatever you want to fit
    ee = fabs(y-y0); // compute error of solution for the approximation search
    }

在上面的for (aa.init(... 是命名的操作数。 a0,a1 是探测x(i) 的间隔,dax(i)n 之间的初始步骤,是递归数。所以如果n=6da=0.1 的最终最大误差x 适合将是~0.1/10^6=0.0000001&amp;ee 是指向将计算实际错误的变量的指针。我选择了指针,这样在嵌套它时不会发生冲突,而且为了提高速度,因为将参数传递给频繁使用的函数会造成堆垃圾。

[注释]

这种近似搜索可以嵌套到任何维度(但粗略的你需要注意速度)查看一些示例

如果出现非函数拟合并且需要获取“所有”解决方案,您可以在找到解决方案后使用搜索间隔的递归细分来检查另一个解决方案。见例子:

您应该注意什么?

您必须仔细选择搜索间隔&lt;a0,a1&gt;,以便它包含解决方案但不会太宽(否则会很慢)。同样,初始步骤da 非常重要,如果它太大,您可能会错过局部最小/最大解决方案,或者如果太小,事情会变得太慢(尤其是对于嵌套多维拟合)。

【讨论】:

    【解决方案2】:

    secant(与bracketing,但请参阅底部的更正)和bisection 方法的组合要好得多:

    我们通过割线找到根近似值,并将根放在括号中,就像在二等分中一样。

    始终保持区间的两条边,使得一个边的delta为负,另一边为正,因此保证根在里面;而不是减半,而是使用割线法。

    伪代码:

    given a function f
    given two points a, b, such that a < b and sign(f(a)) /= sign(f(b))
    given tolerance tol
    find root z of f such that abs(f(z)) < tol     -- stop_condition
    
    DO:
        x = root of f by linear interpolation of f between a and b
        m = midpoint between a and b
    
        if stop_condition holds at x or m, set z and STOP
    
        [a,b] := [a,x,m,b].sort.choose_shortest_interval_with_
                                       _opposite_signs_at_its_ends
    

    这显然将间隔[a,b] 减半,或者在每次迭代时做得更好;因此,除非该函数的行为非常糟糕(例如,sin(1/x) 靠近 x=0),否则它将很快收敛,对于每个迭代步骤最多只对 f 进行两次评估。

    我们可以通过检查b-a 是否变得太小来检测不良行为情况(特别是如果我们使用有限精度,如双精度数)。

    更新: apparently 这实际上是 double false position 方法,它与括号正割,如上面的伪代码所述。即使在最病态的情况下,通过中点增加它也能确保收敛。

    【讨论】:

    • 感谢用户 Spektre 在上面的回答中的原始图形。
    • 能否(如何?)以与 Spektre 的解决方案相同的方式嵌套?例如,我正在使用该解决方案(或者,无论如何,非常接近的解决方案)来解决 3 维定位问题。如何嵌套这样的东西(这是 Spektre 解决此本地化问题的解决方案的 2-d 嵌套示例,我已将其扩展到 3-d:pastebin.com/nQpX2hrX
    • @KeithMadison 对于更高维度,最简单的方法是二分法。对于 1d,我们将根用两个点 f(x +- delta) 括起来,对于 2d,它是 4 个点 f(x +- delta, y +- delta),对于 3d -- 8 个点 f(x +- delta, y +- delta, z +- delta) 等,然后我们计算 f(x,y) 并选择具有相反错误迹象的细分,所以真正的根在里面。这可以通过添加割线的模拟来改善,比如梯度下降。显然这实际上是双重错误位置方法,而不是割线。我已经更新了答案。
    • 抱歉,您能详细说明一下吗?我不完全确定我是否遵循(我想,我觉得这种事情很难想象)。或者,至少,我明白了这个大想法,但我不确定细节。因此,使用 OP 的大约。类,我可以通过选择一些搜索间隔来解决 2d/3d 中的到达时间定位问题,通过计算当前“最佳点”的到达时间来计算每一步的误差,并将其反馈到算法中。我并不完全清楚这种性质的东西是如何转化为这种方法的。这可能很简单——我就是无法建立联系。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-02-22
    • 1970-01-01
    相关资源
    最近更新 更多