【Multi-instance multi-label learning】论文笔记

Multi-instance multi-label learning with application to scene classification.

传统的监督学习

对象由实例（或特征向量）表示并与类标签关联。 $\chi$χ：实例空间（或特征空间），$\gamma$γ：类标签的集合。 从给定的数据集$\left \{ ({x_1,y_1}),({x_2,y_2}),...,({x_m,y_m}) \right \}${(x1​,y1​),(x2​,y2​),...,(xm​,ym​)}中学习一个函数：$f:\chi \rightarrow \gamma$f:χ→γ，其中$x_1\in \chi$x1​∈χ是一个实例，$y_1\in \gamma$y1​∈γ是$x_1$x1​的已知标记。

多实例多标签学习（MIML）

一个训练示例由多个实例描述，并与多个类标签关联。$\chi$χ：实例空间，$\gamma$γ：类标签的集合。 从给定的数据集$\left \{ ({X_1,Y_1}),({X_2,Y_2}),...,({X_m,Y_m}) \right \}${(X1​,Y1​),(X2​,Y2​),...,(Xm​,Ym​)}中学习一个函数$f_{MIML}:2^\chi→2^\gamma$fMIML​:2χ→2γ，其中$X_i\subseteq \chi$Xi​⊆χ是一个集合实例$\left \{x _{1}^{(i)},x _{2}^{(i)},...,x _{n_{i}}^{(i)} \right \},x_{j}^{(i)}\in \chi (j=1,2,...,n_{i})${x1(i)​,x2(i)​,...,xni​(i)​},xj(i)​∈χ(j=1,2,...,ni​)，$Y_i\subseteq \gamma$Yi​⊆γ是一组标签$\left \{y _{1}^{(i)},y _{2}^{(i)},...,y _{l_{i}}^{(i)} \right \},y_{k}^{(i)}\in \gamma(k=1,2,...,l_{i})${y1(i)​,y2(i)​,...,yli​(i)​},yk(i)​∈γ(k=1,2,...,li​)。这里用$n_i$ni​表示实例数$\chi_i$χi​，用$l_i$li​表示标签数$Y_i$Yi​。

多实例学习

研究了由多个实例描述的真实对象与一个类标签相关联的问题。任务从给定的数据集$\left \{ ({X_1,y_1}),({X_2,y_2}),...,({X_m,y_m}) \right \}${(X1​,y1​),(X2​,y2​),...,(Xm​,ym​)}中学习函数$f_{MIL}:2^\chi \rightarrow \left \{ -1,+1 \right \}$fMIL​:2χ→{−1,+1}，其中$X _i\subseteq \chi$Xi​⊆χ是一组实例$\left \{x _{1}^{(i)},x _{2}^{(i)},...,x _{n_{i}}^{(i)} \right \},x_{j}^{(i)}\in \chi (j=1,2,...,n_{i})${x1(i)​,x2(i)​,...,xni​(i)​},xj(i)​∈χ(j=1,2,...,ni​)，$y_i \in\left \{ -1,+1 \right \}$yi​∈{−1,+1}是$X_i$Xi​的标签。

多标签学习

研究了一个实例描述的现实世界对象与多个类标签相关联的问题。任务从给定的数据集$\left \{ ({x_1,Y_1}),({x_2,Y_2}),...,({x_m,Y_m}) \right \}${(x1​,Y1​),(x2​,Y2​),...,(xm​,Ym​)}中学习函数$f_{MLL}:\chi \rightarrow 2^\gamma$fMLL​:χ→2γ，其中$\chi _i\subseteq \chi$χi​⊆χ是一个实例，$Y_i\subseteq \gamma$Yi​⊆γ是一组标签$\left \{y _{1}^{(i)},y _{2}^{(i)},...,y _{l_{i}}^{(i)} \right \},y_{k}^{(i)}\in \gamma (k=1,2,...,l_{i})${y1(i)​,y2(i)​,...,yli​(i)​},yk(i)​∈γ(k=1,2,...,li​)。

• 多实例学习研究输入空间（或实例空间）中的歧义，其中对象具有许多替代输入描述，即实例；
• 多标签学习研究输出空间（或标签空间）中的歧义，其中对象具有许多替代输出描述，即标签；
• MIML同时考虑输入和输出空间中的歧义；
  
  使用多实例学习或多标签学习作为桥梁，通过在传统的监督学习框架中确定MIML的等效性。
• 方案一：使用多实例学习作为桥梁。
  • 将MIML学习任务（即学习功能$f_{MIML}:2^\chi→2^\gamma$fMIML​:2χ→2γ）转换为多实例学习（即学习功能$f_{MIL}:2^\chi ×\gamma\rightarrow \left \{ -1,+1 \right \}$fMIL​:2χ×γ→{−1,+1}）。对于任何$y\in\gamma$y∈γ，如果$y\in Y_i$y∈Yi​，则$f_{MIL}(X_i,y)=+1$fMIL​(Xi​,y)=+1，否则为-1。可以根据$Y^*=\left \{ y|arg_{y\in\gamma} [f_{MIL}(X^*,y)=+1 ]\right \}$Y∗={y∣argy∈γ​[fMIL​(X∗,y)=+1]}确定新示例$X^*$X∗的适当标签。
  • 将此多实例学习任务进一步转换为传统的有监督学习任务，即在指定如何从$f_{SISL}\left ( x_{j}^{(i)},y \right )\left ( j=1,...n_i \right )$fSISL​(xj(i)​,y)(j=1,...ni​)导出$f_{MIL}\left ( X_i,y \right )$fMIL​(Xi​,y)的约束下学习函数$f_{SISL}:\chi \times \gamma\rightarrow \left \{ -1,+1 \right \}$fSISL​:χ×γ→{−1,+1}。对于任何$y\in\gamma$y∈γ，$f_{SISL}\left ( x_{j}^{(i)},y \right )=+1$fSISL​(xj(i)​,y)=+1，否则为-1。这里的约束条件可以是$f_{MIL}\left ( X_i,y \right )= sign\left [ \sum _{j=1}^{n_i}f_{SISL}\left ( x_j^{(i)} ,y\right )\right ]$fMIL​(Xi​,y)=sign[∑j=1ni​​fSISL​(xj(i)​,y)]，此条件已用于将多实例学习任务转换为传统的有监督学习任务。这里也可以用其他类型的约束。
• 方案二：使用多标签学习作为桥梁。
  • 将MIML学习任务（即学习功能$f_{MIML}:2^\chi→2^\gamma$fMIML​:2χ→2γ）转换为多标签学习任务（即学习功能$f_{MLL}:Z\rightarrow 2^{\gamma}$fMLL​:Z→2γ）。对于任何$z_{i}\in Z$zi​∈Z，如果$z_{i}= \phi \left ( X_{i} \right ),\phi :2^{\chi }\rightarrow Z$zi​=ϕ(Xi​),ϕ:2χ→Z，则$f_{MLL}\left ( z_{i} \right )=f_{MIML}\left ( X_{i} \right )$fMLL​(zi​)=fMIML​(Xi​)。可以根据$Y^{*}= f_{MLL}\left ( \phi \left ( X^{*} \right ) \right )$Y∗=fMLL​(ϕ(X∗))确定新示例$X^*$X∗的适当标签。
  • 可以将多标签学习任务进一步转换为传统的有监督学习任务，即学习函数$f_{SISL}:Z\times \gamma \rightarrow \left \{ -1,+1 \right \}$fSISL​:Z×γ→{−1,+1}。对于任何$y\in\gamma$y∈γ，如果$y\in Y_i$y∈Yi​，则$f_{SISL}\left ( z_{i},y \right )=+1$fSISL​(zi​,y)=+1，否则为-1。也就是说$f_{MLL}\left ( z_{i} \right )= \left \{ y|arg_{y\in\gamma}[f_{SISL}\left ( z_{i},y \right )=+1] \right \}$fMLL​(zi​)={y∣argy∈γ​[fSISL​(zi​,y)=+1]}。
  • 这里的映射可以通过构造聚类来实现，该聚类已用于将多实例包转换为传统的单实例。这里也可以用其他类型的映射。
• 算法：MIML BOOST（对应方案一）
  • 给定任何集合$\Omega$Ω，让$|\Omega|$∣Ω∣表示其大小，即$\Omega$Ω中的元素数；给定任何谓词$\pi$π，如果$\pi$π成立，则$[[\pi]]$[[π]]为1，否则为0；给定$\left ( X_{i},Y_{i} \right)$(Xi​,Yi​)，对于任何$y\in Y$y∈Y，如果$y\in Y_i$y∈Yi​，则令$\Psi \left ( X_{i},y \right )=+1$Ψ(Xi​,y)=+1，否则为-1，其中$\Psi$Ψ是函数$\Psi :2^{\chi }\times \gamma \rightarrow \left \{ -1,+1 \right \}$Ψ:2χ×γ→{−1,+1}。表1为MIML BOOST算法。
  • 第一步，将每个MIML示例$\left ( X_{u},Y_{u} \right )\left ( u=1,2,...,m \right )$(Xu​,Yu​)(u=1,2,...,m)转换为多实例袋的数量$\left | \gamma \right |$∣γ∣集合，即$\left \{ \left [ \left ( X_{u},y_{1} \right ),\Psi \left ( X_{u},y_{1} \right ) \right ] , \left[ \left ( X_{u},y_{2} \right ),\Psi \left ( X_{u},y_{2} \right ) \right ] ,...,\left[ \left ( X_{u},y_{\left | \gamma \right |} \right ),\Psi \left ( X_{u},y_{\left | \gamma \right |} \right ) \right ]\right \}${[(Xu​,y1​),Ψ(Xu​,y1​)],[(Xu​,y2​),Ψ(Xu​,y2​)],...,[(Xu​,y∣γ∣​),Ψ(Xu​,y∣γ∣​)]}。注意，$\left [ \left ( X_{u},y_{v} \right ),\Psi \left ( X_{u},y_{v} \right ) \right ]\left ( v=1,2,...,\left | \gamma \right | \right )$[(Xu​,yv​),Ψ(Xu​,yv​)](v=1,2,...,∣γ∣)是标记的多实例袋，其中$\left ( X_{u},y_{v} \right )$(Xu​,yv​)是包含实例数量为$n_u$nu​的袋，即$\left \{ \left ( x_{1}^{\left ( u \right )},y_{v} \right ) ,\left ( x_{2}^{\left ( u \right )},y_{v} \right ),...,\left ( x_{n_u}^{\left ( u \right )},y_{v} \right )\right \}${(x1(u)​,yv​),(x2(u)​,yv​),...,(xnu​(u)​,yv​)}，$\Psi \left ( X_{u},y_{v} \right )\in \left \{ +1,-1 \right \}$Ψ(Xu​,yv​)∈{+1,−1}是这个袋子的标签。
  • 因此，原始MIML数据集将转换为一个多实例数据集，包含袋数$m\times \left | \gamma \right |$m×∣γ∣，即$\left \{ \left [ \left ( X_1,y_1 \right ),\Psi \left ( X_1,y_1 \right ) \right ],...,\left [ \left ( X_1,y_{|\gamma|} \right ),\Psi \left ( X_1,y_{|\gamma|} \right ) \right ], \left [ \left ( X_2,y_1 \right ),\Psi \left ( X_2,y_1 \right ) \right ],...,\left [ \left ( X_m,y_{|\gamma|} \right ),\Psi \left ( X_m,y_{|\gamma|} \right ) \right ] \right \}${[(X1​,y1​),Ψ(X1​,y1​)],...,[(X1​,y∣γ∣​),Ψ(X1​,y∣γ∣​)],[(X2​,y1​),Ψ(X2​,y1​)],...,[(Xm​,y∣γ∣​),Ψ(Xm​,y∣γ∣​)]}。令$\left [ \left ( X^{\left ( i \right )} ,y^{\left ( i \right )} \right ),\Psi \left ( X^{\left ( i \right )} ,y^{\left ( i \right )} \right ) \right ]$[(X(i),y(i)),Ψ(X(i),y(i))]表示袋数$m\times \left | \gamma \right |$m×∣γ∣中的第$i$i个，即$\left ( X^{\left ( 1 \right )},y^{\left ( 1 \right )} \right )$(X(1),y(1))表示$\left ( X_1,y_1 \right ),...,\left ( X^{\left ( \left | \gamma \right | \right )},y^{\left ( \left | \gamma \right | \right )} \right )$(X1​,y1​),...,(X(∣γ∣),y(∣γ∣))，表示$\left ( X_1,y_{\left | \gamma \right |}\right ),...,\left ( X^{\left ( m\times \left | \gamma \right | \right )} ,y^{\left ( m\times \left | \gamma \right | \right )} \right )$(X1​,y∣γ∣​),...,(X(m×∣γ∣),y(m×∣γ∣))，表示$\left ( X_m,y_{\left | \gamma \right |} \right )$(Xm​,y∣γ∣​)，其中$\left ( X^{\left ( i \right )} ,y^{\left ( i \right )}\right )$(X(i),y(i))包含$n_i$ni​个实例数，即$\left \{ \left ( \boldsymbol{x}_{1}^{\left ( i \right )},y^{\left ( i \right )} \right ),\left ( \boldsymbol{x}_{2}^{\left ( i \right )},y^{\left ( i \right )} \right ) ,...,\left ( \boldsymbol{x}_{n_i}^{\left ( i \right )},y^{\left ( i \right )} \right )\right \}${(x1(i)​,y(i)),(x2(i)​,y(i)),...,(xni​(i)​,y(i))}。
  • 然后，可以从数据集中学习多实例学习函数$f_{MIL}$fMIL​，因为$f_{MIML}\left ( X^* \right )= \left \{ y|arg_{y\in \gamma}\left (sign[f_{MIL}\left ( X^* \right ),y]= +1 \right ) \right \}$fMIML​(X∗)={y∣argy∈γ​(sign[fMIL​(X∗),y]=+1)}。在这里，我们使用MIBOOSTING实现$f_{MIL}$fMIL​。