自监督论文 Self-supervised Visual Feature Learning with Deep Neural Networks

自监督学习(Self-Supervised Learning)是一种介于无监督和监督学习之间的一种新范式，旨在减少深度网络对大量注释数据的需求。大量的人工标注的样本是费时耗力的。

它通过定义无注释(annotation-free)的前置任务(pretext task)，为特征学习提供代理监督信号。

自监督论文 Self-supervised Visual Feature Learning with Deep Neural Networks

pretext task

在预训练阶段，使用伪标记当作标签进行网络权重训练。因此在自监督学习中，如何生成伪标记是前置任务的关键。

自监督论文 Self-supervised Visual Feature Learning with Deep Neural Networks

伪标签生成

图片补全

自监督论文 Self-supervised Visual Feature Learning with Deep Neural Networks

图片旋转

自监督论文 Self-supervised Visual Feature Learning with Deep Neural Networks

图片着色

自监督论文 Self-supervised Visual Feature Learning with Deep Neural Networks

上下文预测

自监督论文 Self-supervised Visual Feature Learning with Deep Neural Networks

自监督论文 Self-supervised Visual Feature Learning with Deep Neural Networks

downstream task

在前置任务训练完成后，可将学得的特征作为已训练的模型进一步迁移(迁移学习)到下游任务(downstream tasks)，使其获得更好的解的起点。

相关文章：

2021-12-30
2021-09-01
2021-08-23
2021-09-03
2021-04-24
2021-12-23
2022-01-08

猜你喜欢

2021-06-30
2021-10-21
2021-10-28
2021-12-27
2021-04-26
2021-05-01

相关资源

下载 2023-01-29
下载 2021-09-10
下载 2022-12-11

相似解决方案

热门标签

Java Python linux javascript Mysql C# Docker 算法前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库数据结构大数据 js 机器学习微服务 Android Go 程序员面试 JVM ASP.net core 云原生人工智能后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习多线程 React 架构 devops 爬虫云计算 Spring Boot LeetCode