论文阅读 (十)：Multi-Instance Multi-Label Active Learning (2017MIML-AL)

文章目录

• 引入
• 1 算法基础
• 1.1 已有标准
• 1.2 新标准
• 2 算法流程

引入

  论文地址：https://www.ijcai.org/Proceedings/2017/262
  目标：设计一种针对MIML的查询策略，以便获取更为准确的信息而无需附加代价。
  步骤：
  1）设计一种选择最大价值bag-label对的标准；
  2）Oracle反馈包与标签的相关性。

1 算法基础

  本文部分符号表如下：

符号	意义
$D_l$Dl​	初始有标记集
$N_l$Nl​	有标记集大小
$D_u$Du​	无标记集
$(X_i, Y_i)$(Xi​,Yi​)	MIML对象
$X_i = \{ \mathbf{x}_{i1}, \cdots, \mathbf{x}_{i, m_i} \}$Xi​={xi1​,⋯,xi,mi​​}	第$i$i个包
$\mathbf{x}_{ij} \in \mathbb{R}^d$xij​∈Rd	包中实例
$m_i$mi​	包大小
$Y_i = [y_{i1}, \cdots, y_{i, K}]^{\rm T}$Yi​=[yi1​,⋯,yi,K​]T	包标签
$U (X)$U(X)	包未查询标签集

  说明：$X \in D_u$X∈Du​ iff $\mid U (X) \mid > 0$∣U(X)∣>0

1.1 已有标准

  说明：该部分略看即可。
  受多标签主动学习 ¹启发，使用diversity和uncertainty来选择bag-label对：

$g\left(X_{i}\right)=\frac{\left|\sum_{k=1}^{K} I\left[\hat{y}_{i k}>0\right]-\frac{1}{N_{l}} \sum_{j=1}^{N_{l}} \sum_{k=1}^{K} I\left[y_{j k}>0\right]\right|}{\max \left\{\xi, K-\operatorname{card}\left(U\left(X_{i}\right)\right)\right\}}, \tag{1}$g(Xi​)=max{ξ,K−card(U(Xi​))}∣∣∣​∑k=1K​I[y^​ik​>0]−Nl​1​∑j=1Nl​​∑k=1K​I[yjk​>0]∣∣∣​​,(1)其中$\hat{y}_{ik}$y^​ik​是包$X_i$Xi​的第$k$k个标签的预测；$\xi \in (0, 1)$ξ∈(0,1)是一个用于避免除$0$0的常量；$\rm card$card用于计算集合大小；$I [x] = \begin{cases}1, x = {\rm True};\\0, {\rm oterwise.}\end{cases}$I[x]={1,x=True;0,oterwise.​这里的分母表示当前包有多少个标签已经被查询。最终，将选择具有最大$g$g的$X^*$X∗。

  以下公式用于评测标签$y$y对于包$X^*$X∗的信息量，即$y$y的预测离决策边界的远近：

$h (X^*, y) = \mid f_y (X^*) - f_{y_0} (X^*) \mid, \tag{2}$h(X∗,y)=∣fy​(X∗)−fy0​​(X∗)∣,(2)其中$f_y$fy​是一个预测函数；$y_0$y0​是一个用于划分相关标签与不相关标签的虚拟标签。通常假设离决策边界越近不确定性越大，因此将选择具有最小$h$h的$y^*$y∗。
  Oracle将决定所选择bag-label对，即$(X^*, y^*)$(X∗,y∗)的相关性。如果没有相关性，则$y^*$y∗是一个负标签；反之，Oracle将说明该包中哪一个实例决定标签$y^*$y∗，该实例也称为关键实例，用$\mathbf{x}^*$x∗表示。

1.2 新标准

  通过最小化标签定义上的rank loss，MIML可以转换为label ranking问题 ²。受其启发，关于$\mathbf{x}$x的第$k$k个表情的预测函数定义如下：

$f_k (\mathbf{x}) = \mathbf{w}_k^{\rm T} W_0 \mathbf{x}, \tag{3}$fk​(x)=wkT​W0​x,(3)其中$W_0 \in \mathbb{R}^{b \times d}$W0​∈Rb×d表示将原始$d$d维特征向量映射到稀疏空间的矩阵。

  看不下去了。。。。

2 算法流程

---

1. [Huang and Zhou, 2013] S.-J. Huang and Z.-H. Zhou. Active query driven by uncertainty and diversity for incremental multi-label learning. In Proceedings of the 13th IEEE International Conference on Data Mining, pages 1079–1084, 2013. ↩︎

2. [Huang et al., 2014a] S.-J. Huang, W. Gao, and Z.-H. Zhou. Fast multi-instance multi-label learning. In Proceedings of the 28th AAAI Conference on Artificial Intelligence, pages 1868–1874, 2014. ↩︎