共轭函数

共轭函数的定义：

设函数，定义函数为：

此函数称为函数的共轭函数。即函数和函数之间差值的上确界。
如下图，两条虚线平行，函数是通过原点的一条直线,y是常数。下面的虚线交点
，即是两条平行线之间的y方向上的距离，即差值。

范数的对偶还是范数。
定义：
令是上的范数。对应的对偶范数，用表示，定义为：

也可以写成：

因为范数具有非负性，因此我们也可以写成：

左图表示范数对偶的示意图，很容易理解，当向量和同方向时，两个向量的内积最大，即

右图表示范数对偶的示意图，当向量在实线位置,两个向量的内积最大时，向量取(对于二维情况).则：

当向量在虚线位置时：

故：

令表示上的范数，其对偶范数为,那么函数的共轭函数为：

即范数的共轭函数是对偶范数的单位球的示性函数，即范数定义的单位球内值为0，在单位球外值为无穷大。对于损失函数来说，在单位球内损失函数为0，相当于一个ball约束，而在单位球外会导致损失函数无穷大，是不可取的。

证明：对于上左图，即对于范数的对偶，如果，根据对偶范数的定义，存在，使得。（这里的对应上图的,而对应，从图中可以看淡即表示单位球形区域，要使得，则一定满足,一个大于1一个小于1，很自然存在，满足）。取，并令，可得：

即，没有上界。反之，若,对于任意的，有，即对任意，即对任意的。因此，处，函数达到最大值0.
可以通过下面的图进行一维情况的简单描述：

当时，即直线的斜率大于1时，则两个函数的差值为，两个函数都延伸到无穷远。当，函数在函数的下面，并且相交，因此最大y方向上的距离为0. 对于和具有类似的结论。

范数的平方的共轭函数：
函数:

其共轭函数为：

参考文献：
1 Convex Optimization_Stephen Boyd.pdf