worst-case distribution的构造（ Yongpei Guan的一个paper学习笔记）

1. 模型

文章考虑了一个数据驱动的风险规避随机优化（data-driven risk-averse stochastic optimization）问题：
$\text{(DD-SP)} \quad \mathop{\min}\limits_{x\in X} c^Tx + \mathop{\max}\limits_{\hat{\mathbb{P}}\in\mathcal{D}} \mathbb{E}_{\hat{\mathbb{P}}} [\mathcal{Q}(x,\xi)]$(DD-SP)x∈Xmin​cTx+P^∈Dmax​EP^​[Q(x,ξ)] 其中 $x\in X$x∈X是第一阶段的决策变量，第二阶段的问题为
$\mathcal{Q}(x,\xi) = \mathop{\min}\limits_{y\in Y} \left\{ d(\xi)^Ty \;:\; A(\xi)x + By \ge b(\xi) \right\},$Q(x,ξ)=y∈Ymin​{d(ξ)Ty:A(ξ)x+By≥b(ξ)}, 假设$A(\xi)$A(ξ)和$B(\xi)$B(ξ)都关于$\xi$ξ连续, 随机变量$\xi$ξ属于某个概率空间。$\xi$ξ 服从的分布$\hat{\mathbb{P}}$P^是未知的，只知道它属于某个confidence set $\mathcal{D}=\{\hat{\mathbb{P}}: d_M(\hat{\mathbb{P}_0,\mathbb{P}})\leq \theta\}$D={P^:dM​(P0​,P^​)≤θ}.

特别地，文中考虑的是一组经验数据 $\xi^1,\cdots,\xi^N$ξ1,⋯,ξN给定的经验分布为中心的Wasserstein Ball。文章主要的贡献就是，给出了 $\mathop{\max}\limits_{\hat{\mathbb{P}}\in\mathcal{D}} \mathbb{E}_{\hat{\mathbb{P}}} [\mathcal{Q}(x,\xi)]$P^∈Dmax​EP^​[Q(x,ξ)] 的 worst-case distribution，从而给出了 DD-SP 的reformulation。

2. 主要结果

假设1. DD-SP有相对完备的补偿( relatively complete recourse)并且是有界的，亦即对任意$x\in X$x∈X，都有$\mathop{\sup}\limits_{\xi\in\Omega} |\mathcal{Q}(x,\xi)|<\infty$ξ∈Ωsup​∣Q(x,ξ)∣<∞.

命题1（原文Proposition 2）. 假设 $\xi^1,\cdots,\xi^N$ξ1,⋯,ξN 是从真实分布 $\mathbb{P}$P 中独立同部分(i.i.d.)选择的一组样本数据，那么对任何固定的第一阶段决策变量$x\in\mathcal{X}$x∈X，我们有
$\mathop{\max}\limits_{\hat{\mathbb{P}}\in\mathcal{D}} \mathbb{E}_{\hat{\mathbb{P}}} [\mathcal{Q}(x,\xi)] = \mathop{\min}\limits_{\beta\ge 0} \left\{ \theta\beta + \frac{1}{N} \mathop{\sum}\limits_{i=1}^N \mathop{\max}\limits_{\xi\in\Omega}\left\{ \mathcal{Q}(x,\xi)-\beta\rho(\xi,\xi^i) \right\} \right\}$P^∈Dmax​EP^​[Q(x,ξ)]=β≥0min​{θβ+N1​i=1∑N​ξ∈Ωmax​{Q(x,ξ)−βρ(ξ,ξi)}} 这里 $\rho$ρ就是用于定义Wasserstein时两个随机变量之间的距离。

定义：$\rho^i(\xi)=\rho(\xi,\xi^i)$ρi(ξ)=ρ(ξ,ξi)
命题1（原文Proposition 4）. 假设 $\mathcal{Q}(x,\xi)$Q(x,ξ) 关于$\xi$ξ是凹的，$\rho^i(\xi)$ρi(ξ)是严格凸函数（比如$L_2$L2​-范数），$\beta^*$β∗是命题1中的唯一解，那么存在$\mathop{\max}\limits_{\hat{\mathbb{P}}\in\mathcal{D}} \mathbb{E}_{\hat{\mathbb{P}}} [\mathcal{Q}(x,\xi)]$P^∈Dmax​EP^​[Q(x,ξ)] 的一个 worst-case distribution，并且它可以表示为
$\hat{\mathbb{P}}^*=\frac{1}{N} \mathop{\sum}\limits_{i=1}^N \delta_{\xi_*^i}，$P^∗=N1​i=1∑N​δξ∗i​​，其中$\xi_*^i$ξ∗i​ 是$\mathop{\max}\limits_{\xi\in\Omega}\left\{ \mathcal{Q}(x,\xi)-\beta^*\rho^i(\xi)\right\}$ξ∈Ωmax​{Q(x,ξ)−β∗ρi(ξ)}的最优解。
Remark：这个证明值得好好念，用到Helly–Bray定理。

3. Helly–Bray定理

链接：概率收敛、均方收敛、分布收敛的关系

Helly–Bray定理是关于分布收敛的一个等价形式：假设 $g$g 是一个有界且连续的函数，随机变量$X_n$Xn​收敛于$X$X，则$E[g(X_n)]$E[g(Xn​)] 收敛于$E[g(X)]$E[g(X)].

4. relatively complete recourse

fixed recourse：是指第二阶段的系数矩阵是确定的

5. 参考文献

Chaoyue Zhao, Yongpei Guan. Data-driven risk-averse stochastic optimization with Wasserstein
metric. Operations Research Letters