Harmonic嵌入
本段介绍harmonic 嵌入的概念。指的是由不同模型v1和v2生成的一组嵌入，但是它们互相可比较，从这个意义上讲是兼容的。
这种兼容很大的简化的升级方法。如：嵌入v1是在大量数据集上计算得到的，现在一个新的嵌入模型v2要推出，兼容性确保的平滑的转换，无需担心版本的不兼容。图Figure
8展示了3G数据集的结果。提升的模型NN2优于NN1,组合NN2和NN1的嵌入的性能居中。
Harmonic Triplet 函数函数
为了研究harmonic嵌入，我们混合已经学习好的v1嵌入和v2嵌入。这个在triplet损失函数内部做，额外生成的triplets促进了不同版本嵌入的兼容。图Figure 9 可视化了贡献给triplet损失函数的不同组合的triplets。
从一个已经训练的NN2中初始化v2嵌入，然后使用促进兼容的triplet损失函数重新训练随机初始化的最后一层(嵌入层)。开始只有最后一层重新训练，然后使用harmonic损失函数训练整个v2网络。
图Figure 10 展示了实际中这种兼容可能有效的解释。大部分v2的嵌入可能挨着相关的v1嵌入，但是v1错误的嵌入，可能轻微的扰动，这样新的嵌入空间位置提升了验证准确性。
总结
非常有趣和惊人的是harmonic如此有效，未来工作可以探索这种思想能够扩展多远。推测在保持兼容的情况下v2嵌入提升v1嵌入的范围有一个上限。另外训练在手机上运行的小网络可以与较大的服务端模型兼容是非常有有趣的。