一个简单而有效的方法

大规模数据集上的预训练+小规模Few Shot Learning上的微调

其中预训练部分构造大约如此

YouTube学习_Few-Shot Learning3-简单方法

这里构造一个简单的例子:

YouTube学习_Few-Shot Learning3-简单方法

在分类的时候就要把Query中的特征向量与上述u1,u2,u3做对比

YouTube学习_Few-Shot Learning3-简单方法

做预测的时候采用这样的方法

YouTube学习_Few-Shot Learning3-简单方法

Fine-Tuning部分

YouTube学习_Few-Shot Learning3-简单方法

为何要做Fine-Tuning?因为可以提高得分鸭

YouTube学习_Few-Shot Learning3-简单方法

整体过程

相关文章: