yolov5实战之皮卡丘检测

前言 从接触深度学习开始一直都做的是人脸识别,基本上也一直都在用mxnet. 记得之前在刚接触的时候看到博客中写到,深度学习分三个层次,第一个层次是分类,第二个层次是检测,第三个层次是分割。人脸识别算是分类问题,也就是一直在第一个层次···一直都想有机会了解下第二个层次,奈何精力有限,工作中也没有实 ... »

pytorch模型结构可视化,可显示每层的尺寸

最近在学习一些检测方面的网络,使用的是pytorch。模型结构可视化是学习网络的有用的部分,pytorch没有原生支持这个功能,需要找一些其他方式,下面总结几种方法(推荐用4)。 1. torch .pt -> netron netron是一个专门可视化模型的工具,支持很多格式,很自然的就是用它直接 ... »

如何估算神经网络参数占用多少内存或显存容量

问题引出 假设输入是高和宽均为 1,000 像素的彩色照片(含3个通道)。即使全连接层输出个数仍是256,该层权重参数的形状也是 3,000,000×256 :它占用了大约3 GB的内存或显存。这会带来过于复杂的模型和过高的存储开销。————《动手学深度学习》第5章第5节 有人在讨论区提出3 GB是 ... »

BERT模型详解

1 简介 BERT全称Bidirectional Enoceder Representations from Transformers,即双向的Transformers的Encoder。是谷歌于2018年10月提出的一个语言表示模型(language representation model)。 1 ... »

深度学习趣谈:什么是迁移学习?(附带Tensorflow代码实现)

一.迁移学习的概念 什么是迁移学习呢?迁移学习可以由下面的这张图来表示: 这张图最左边表示了迁移学习也就是把已经训练好的模型和权重直接纳入到新的数据集当中进行训练,但是我们只改变之前模型的分类器(全连接层和softmax/sigmoid),这样就可以节省训练的时间的到一个新训练的模型了! 但是为什么 ... »

Tensorflow实现神经网络的前向传播

我们构想有一个神经网络,输入为两个input,中间有一个hidden layer,这个hiddenlayer当中有三个神经元,最后有一个output。 图例如下: 在实现这个神经网络的前向传播之前,我们先补充一下重要的知识。 一.权重w以及input的初始化 我们初始化权重w的方法为随机生成这些权重 ... »

贝叶斯深度学习(bayesian deep learning)

本文简单介绍了什么是贝叶斯深度学习,贝叶斯深度学习应该如何进行预测和训练,贝叶斯深度学习和非贝叶斯深度学习有什么区别,最后提醒注意贝叶斯神经网络和贝叶斯网络是两个不同概念。本文对如何训练贝叶斯深度学习没有进行过多阐述,具体可以参考引用资料。 ... »

【Paper】Deep & Cross Network for Ad Click Predictions

[Toc] 背景 探索具有预测能力的组合特征对提高CTR模型的性能十分重要,这也是大量人工特征工程存在的原因。但是数据高维稀疏(大量离散特征one hot之后)的性质,对特征探索带来了巨大挑战,进而限制了许多大型系统只能使用线性模型(比如逻辑回归)。线性模型简单易理解并且容易扩展,但是表达能力有限, ... »

自然语言处理中的语言模型预训练方法

自然语言处理中的语言模型预训练方法 最近,在自然语言处理(NLP)领域中,使用语言模型预训练方法在多项NLP任务上都获得了不错的提升,广泛受到了各界的关注。就此,我将最近看的一些相关论文进行总结,选取了几个代表性模型(包括ELMo [1],OpenAI GPT [2]和BERT [3])和大家一起学 ... »