Facenet：使用人脸嵌入集的集合

Question

Facenet 是用于面部识别的深度学习模型。它被训练用于提取特征，即通过称为嵌入的固定长度向量来表示图像。训练后，对于每个给定的图像，我们将倒数第二层的输出作为其特征向量。之后我们可以根据特征和一些距离函数（例如欧几里得距离）进行验证（判断两张图像是否属于同一个人）。

triplet loss是一个损失函数，基本上说，同一个人的特征向量之间的距离应该小，不同的人之间的距离应该大。

我的问题是，有没有办法混合来自不同卷积模型的不同嵌入集？例如，用三元组损失训练 3 个不同的模型（一个 Resnet 模型、一个 Inception 和一个 VGG），然后混合 3 128 维嵌入来构建一个新的元嵌入，以提高人脸验证的准确性。如何混合这个嵌入集？

Answer 1

有一个相同的问题和有用的答案here。

我认为有不同的方法可以做到这一点，例如 1) 连接 两个嵌入并在此之后应用 PCA 2) 标准化每个 将它们嵌入并连接在一起，以便每个模型将 对最终结果的贡献相同 3) 标准化每个特征 每个嵌入到 (0,1) 由高斯 CDF 表示并将它们连接起来 一起，使每个特征对结果的贡献相等。