漫步最优化四十——Powell法(上)

平凡无所谓，
平淡无所谓，
但求每天早晨能望见你，
这已经足够满足。
身边的一切如风，
而你让我有了根，
就让我爱你多些，
再多些，甚至满泻，
与你一生一世。
——畅宝宝的傻逼哥哥

过去使用最广泛的共轭方向法是由Powell提出来的，这个方法与共轭梯度法一样，开始也是来自凸二次问题，但是它也成功应用于非二次问题。

Powell法最显著的特征就是通过一系列线搜索生成共轭方向，所用的技术基于下面的定理：

定理1：如果凸二次问题

f (x) = a + x T b + 12 x T H x

在直线

x = x a + α d a

与

x = x b + α d b

上分别对α最小化，得到的最小点分别为x∗a,x∗b，如图1所示。

如果db=da，那么向量x∗b−x∗a与da(或者db)共轭。

证明：如果f(xa+αda),f(xb+αdb)对α最小化，那么

d f (x a + α d a) d α = d T a g (x * a) = 0 d f (x b + α d b) d α = d T b g (x * b) = 0 (1a) (1b)

因为

g (x * a) = b + H x * a g (x * b) = b + H x * b (2a) (2b)

因为db=da，所以由等式1与2可得

d T a H (x * b - x * a) = 0

因此，向量x∗b−x∗a与方向da(或者db)共轭，证毕。||

在Powell算法中，假设初始点为x00，n个线性无关方向为d01,d02,…,d0n，并且每次迭代执行一系列线搜索。虽然可以使用任意的线性无关方向集合，但是出于方便，我们使用坐标方向集。

图1

第一次迭代的时候，f(x)从初始点x00开始，在方向d01,d02,…,d0n上最小化分别得到点x01,x02,…,x0n，如图2所示，新的方向d0(n+1)为

d 0 (n + 1) = x 0 n - x 0

且f(x)在这个方向上最小化得到新的点x0(n+1)，然后更新方向集为

d 11 d 12 d 1 (n - 1) d 1 n = d 02 = d 03 ⋮ = d 0 n = d 0 (n + 1) (3)

第一次迭代的效果就是f(x)减少了Δf=f(x00)−f(x0(n+1))并且同时删除了d01加入了d0(n+1)。

第二次得带执行同样的过程，从点

x 10 = x 0 (n + 1)

开始，f(x)在方向d11,d12,…,d1n上最小化分别得到点x11,x12,…,x1n，如图3所示，然后生成新的方向d1(n+1)

d 1 (n + 1) = x 1 n - x 10

f(x)在方向d1(n+1)上最小化得到点x1(n+1)。因为

d 1 n = d 0 (n + 1)

所以d1(n+1)与dn共轭，因此我们令

d 21 d 22 d 2 (n - 1) d 2 n = d 12 = d 13 ⋮ = d 1 n = d 1 (n + 1) (4)

新的方向解将包含一对共轭方向，即d2(n−1),d2n。

用同样的方式执行上面的过程，每次迭代都会增加一个共轭方向。Powell法需要n(n+1)次线搜索，因为每次迭代包含(n+1)次线搜索，共需要n次迭代，Powell算法实现如下：

算 法 1 ： 共 轭 梯 度 算 法 步 骤 1 输 入 x 00 并 初 始 化 容 忍 误 差 ε 令 d 01 = [x 01 0 \dots 0] T d 02 = [0 x 02 \dots 0] T ⋮ d 0 n = [00 \dots x 0 n] T 令 k = 0 步 骤 2 对 于 i = 1 从 n 求 出 α k i, 就 是 最 小 化 f (x k (i - 1) + α d k i) 的 值 α 令 x k i = x k (i - 1) + α k i d k i 步 骤 3 生 成 新 方 向 d k (n + 1) = x k n - x k 0 求 出 α k (n + 1), 就 是 最 小 化 f (x 0 + α d k (n + 1)) 的 值 α 令 x k (n + 1) = x k 0 + α k (n + 1) d k (n + 1) 计 算 f k (n + 1) = f (x k (n + 1)) 步 骤 4 如 果 ∥ α k (n + 1) d k (n + 1) ∥ < ε, 输 出 x * = x k (n + 1), f (x *) = f k (n + 1) 算 法 结 束 步 骤 5 更 新 方 向 d (k + 1) 1 = d k 2 d (k + 1) 2 = d k 3 ⋮ d (k + 1) n = d k (n + 1) 令 x (k + 1) 0 = x k (n + 1), k = k + 1, 令 k = k + 1 然 后 回 到 步 骤 2

图2

图3