【Robust学习笔记】Data-Driven Chance Constrained Programs over Wasserstein Balls

数据驱动下的机会约束优化

考虑下列形式的分布鲁棒优化问题：
$\begin{aligned} \mathop{\min}\limits_{\boldsymbol{x}\in\mathcal{X}} &\quad \boldsymbol{c}^T\boldsymbol{x} \\ \text{s.t.} &\quad \mathbb{P}\left[\tilde{\boldsymbol{\xi}}\in\mathcal{S}(\boldsymbol{x})\right] \ge 1-\epsilon, \; \forall \mathbb{P}\in\mathcal{F}(\theta) \tag{1} \end{aligned}$x∈Xmin​s.t.​cTxP[ξ~​∈S(x)]≥1−ϵ,∀P∈F(θ)​(1) 其中 $\mathcal{X}\in\mathbb{R}^L$X∈RL 是一个紧多面体，$\mathcal{S}(\boldsymbol{x})\subseteq\mathbb{R}^K$S(x)⊆RK 是一个决策相关安全集( decision-dependent safety set) ，$\mathcal{F}(\theta)$F(θ) 是以 $\hat{\mathbb{P}}$P^ 为中心、$\theta$θ 为半径的 Wasserstein Ball。这里 $\hat{\mathbb{P}}$P^ 是一组训练数据 $\left\{\hat{\boldsymbol{\xi}}_i\right\}_{i\in[N]}${ξ^​i​}i∈[N]​ 的经验分布。

Wasserstein球的不确定度量化(Uncertainty Quantification)

假设 $\mathcal{S}\subseteq\mathbb{R}^K$S⊆RK，记 $\bar{\mathcal{S}}=\mathbb{R}^K\setminus\mathcal{S}$Sˉ=RK∖S 为它的闭补集。考虑下面的不确定度量问题：
$\mathop{\sup}\limits_{\mathbb{P}\in\mathcal{F}(\theta)} \mathbb{P}\left[\tilde{\boldsymbol{\xi}}\notin\mathcal{S}\right].$P∈F(θ)sup​P[ξ~​∈/​S]. 这里都假设 $\theta>0,\epsilon\in(0,1)$θ>0,ϵ∈(0,1)。

记号：
(1) 记 $\text{dist}\left(\hat{\boldsymbol{\xi}}_i, \bar{\mathcal{S}}\right)$dist(ξ^​i​,Sˉ) 为 $\hat{\mathbb{P}}$P^ 对应的第 $i$i 个数据点和不安全集 $\bar{\mathcal{S}}$Sˉ 之间的距离，这里的距离是基于某个范数 $\lVert\cdot\rVert$∥⋅∥。我们对样本数据集进行排序，使其满足
$\text{dist}\left(\hat{\boldsymbol{\xi}}_i, \bar{\mathcal{S}}\right) \leq \text{dist}\left(\hat{\boldsymbol{\xi}}_j, \bar{\mathcal{S}}\right), \quad \forall 1\leq i\leq j\leq N$dist(ξ^​i​,Sˉ)≤dist(ξ^​j​,Sˉ),∀1≤i≤j≤N (2) 假设 $\text{dist}\left(\hat{\boldsymbol{\xi}}_i, \bar{\mathcal{S}}\right) =0$dist(ξ^​i​,Sˉ)=0 当且仅当 $i\in[I]$i∈[I]， 这里 $I$I 可以为0。
(3) 记 $\boldsymbol{\xi}_i^*\in\bar{\mathcal{S}}$ξi∗​∈Sˉ 为距离 $\hat{\boldsymbol{\xi}}_i$ξ^​i​ 最近的不安全点。

定理. (Blanchet and Murthy 2016, Gao and Kleywegt 2016)
令 $j^*=\max\left\{ j\in[N]\cup\{0\} \;\big|\; \mathop{\sum}\limits_{i=1}^j \text{dist}\left(\hat{\boldsymbol{\xi}}_i, \bar{\mathcal{S}}\right) \leq \theta N \right\}$j∗=max{j∈[N]∪{0}∣∣​i=1∑j​dist(ξ^​i​,Sˉ)≤θN}. 则上述不确定度量问题可以由下面给出的最差情形分布 $\mathbb{P}^*\in\mathcal{F}(\theta)$P∗∈F(θ) 来求解：
(1) 如果 $j^*=N$j∗=N，则 $\mathop{\sup}\limits_{\mathbb{P}\in\mathcal{F}(\theta)} \mathbb{P}\left[\tilde{\boldsymbol{\xi}}\notin\mathcal{S}\right] = \mathbb{P}^*\left[\tilde{\boldsymbol{\xi}}\notin\mathcal{S}\right]=1$P∈F(θ)sup​P[ξ~​∈/​S]=P∗[ξ~​∈/​S]=1，其中
$\mathbb{P}^* = \frac{1}{N}\mathop{\sum}\limits_{i=1}^I\delta_{\hat{\boldsymbol{\xi}}_i} + \frac{1}{N}\mathop{\sum}\limits_{i=I+1}^N\delta_{\boldsymbol{\xi}^*_i}$P∗=N1​i=1∑I​δξ^​i​​+N1​i=I+1∑N​δξi∗​​
(2) 如果 $j^*<N$j∗<N，则 $\mathop{\sup}\limits_{\mathbb{P}\in\mathcal{F}(\theta)} \mathbb{P}\left[\tilde{\boldsymbol{\xi}}\notin\mathcal{S}\right] = \mathbb{P}^*\left[\tilde{\boldsymbol{\xi}}\notin\mathcal{S}\right]=\frac{j^*+p^*}{N}$P∈F(θ)sup​P[ξ~​∈/​S]=P∗[ξ~​∈/​S]=Nj∗+p∗​，其中 $\mathbb{P}^* = \frac{1}{N}\mathop{\sum}\limits_{i=1}^I\delta_{\hat{\boldsymbol{\xi}}_i} + \frac{1}{N}\mathop{\sum}\limits_{i=I+1}^{j^*}\delta_{\boldsymbol{\xi}^*_i} + \frac{p^*}{N}\delta_{\boldsymbol{\xi}^*_{j+1}} + + \frac{1-p^*}{N}\delta_{\hat{\boldsymbol{\xi}}_{j+1}} + \frac{1}{N}\mathop{\sum}\limits_{i=j^*+2}^N\delta_{\boldsymbol{\xi}^*_i},$P∗=N1​i=1∑I​δξ^​i​​+N1​i=I+1∑j∗​δξi∗​​+Np∗​δξj+1∗​​++N1−p∗​δξ^​j+1​​+N1​i=j∗+2∑N​δξi∗​​, 且 $p^*=\frac{\theta N-\mathop{\sum}\limits_{i=1}^{j^*}\text{dist}\left(\hat{\boldsymbol{\xi}}_i, \bar{\mathcal{S}}\right)}{\text{dist}\left(\hat{\boldsymbol{\xi}}_{j^*+1}, \bar{\mathcal{S}}\right)}$p∗=dist(ξ^​j∗+1​,Sˉ)θN−i=1∑j∗​dist(ξ^​i​,Sˉ)​.

一般机会约束的Reformulation

对任何给定的决策变量 $\boldsymbol{x}\in\mathcal{X}$x∈X，存在$[N]$[N]的一个置换$\pi(\boldsymbol{x})$π(x)，使得
$\text{dist}\left(\hat{\boldsymbol{\xi}}_{\pi_1(\boldsymbol{x})}, \bar{\mathcal{S}}(\boldsymbol{x})\right) \leq \text{dist}\left(\hat{\boldsymbol{\xi}}_{\pi_2(\boldsymbol{x})}, \bar{\mathcal{S}}(\boldsymbol{x})\right) \leq \cdots \text{dist}\left(\hat{\boldsymbol{\xi}}_{\pi_N(\boldsymbol{x})}, \bar{\mathcal{S}}(\boldsymbol{x})\right)$dist(ξ^​π1​(x)​,Sˉ(x))≤dist(ξ^​π2​(x)​,Sˉ(x))≤⋯dist(ξ^​πN​(x)​,Sˉ(x))
定理. 对任何给定的决策变量 $\boldsymbol{x}\in\mathcal{X}$x∈X，模糊机会约束问题 (1) 等价于下面的确定性不等式： $\frac{1}{N}\mathop{\sum}\limits_{i=1}^{\epsilon N} \text{dist}\left(\hat{\boldsymbol{\xi}}_{\pi_i(\boldsymbol{x})}, \bar{\mathcal{S}}(\boldsymbol{x})\right) \ge \theta.$N1​i=1∑ϵN​dist(ξ^​πi​(x)​,Sˉ(x))≥θ.
进一步，利用线性对偶，可以证明：
定理. 模糊机会约束问题 (1) 等价于:
$\begin{aligned} \mathop{\min}\limits_{\boldsymbol{s},t,\boldsymbol{x}} &\quad \boldsymbol{c}^T\boldsymbol{x} \\ \text{s.t.} &\quad \epsilon Nt - \boldsymbol{e}^T\boldsymbol{s} \ge \theta N \\ &\quad \text{dist}\left(\hat{\boldsymbol{\xi}}_i, \bar{\mathcal{S}}(\boldsymbol{x})\right) \ge t-s_i, \quad \forall i\in[N] \\ &\quad \boldsymbol{s}\ge\boldsymbol{0},\boldsymbol{x}\in\mathcal{X}. \end{aligned}$s,t,xmin​s.t.​cTxϵNt−eTs≥θNdist(ξ^​i​,Sˉ(x))≥t−si​,∀i∈[N]s≥0,x∈X.​