yolov5实战之皮卡丘检测
前言 从接触深度学习开始一直都做的是人脸识别，基本上也一直都在用mxnet. 记得之前在刚接触的时候看到博客中写到，深度学习分三个层次，第一个层次是分类，第二个层次是检测，第三个层次是分割。人脸识别算是分类问题，也就是一直在第一个层次···一直都想有机会了解下第二个层次，奈何精力有限，工作中也没有实 ... »
pytorch模型结构可视化，可显示每层的尺寸
最近在学习一些检测方面的网络，使用的是pytorch。模型结构可视化是学习网络的有用的部分，pytorch没有原生支持这个功能，需要找一些其他方式，下面总结几种方法（推荐用4）。 1. torch .pt -> netron netron是一个专门可视化模型的工具，支持很多格式，很自然的就是用它直接 ... »
如何估算神经网络参数占用多少内存或显存容量
问题引出 假设输入是高和宽均为 1,000 像素的彩色照片（含3个通道）。即使全连接层输出个数仍是256，该层权重参数的形状也是 3,000,000×256 ：它占用了大约3 GB的内存或显存。这会带来过于复杂的模型和过高的存储开销。————《动手学深度学习》第5章第5节 有人在讨论区提出3 GB是 ... »
BERT模型详解
1 简介 BERT全称Bidirectional Enoceder Representations from Transformers，即双向的Transformers的Encoder。是谷歌于2018年10月提出的一个语言表示模型（language representation model）。 1 ... »
深度学习趣谈：什么是迁移学习？（附带Tensorflow代码实现）
一.迁移学习的概念 什么是迁移学习呢？迁移学习可以由下面的这张图来表示： 这张图最左边表示了迁移学习也就是把已经训练好的模型和权重直接纳入到新的数据集当中进行训练，但是我们只改变之前模型的分类器（全连接层和softmax/sigmoid），这样就可以节省训练的时间的到一个新训练的模型了！ 但是为什么 ... »
基于图嵌入的高斯混合变分自编码器的深度聚类(Deep Clustering by Gaussian Mixture Variational Autoencoders with Graph Embedding, DGG)
基于图嵌入的高斯混合变分自编码器的深度聚类 Deep Clustering by Gaussian Mixture Variational Autoencoders with Graph Embedding, DGG 作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kail ... »
Tensorflow实现神经网络的前向传播
我们构想有一个神经网络，输入为两个input，中间有一个hidden layer，这个hiddenlayer当中有三个神经元，最后有一个output。 图例如下： 在实现这个神经网络的前向传播之前，我们先补充一下重要的知识。 一.权重w以及input的初始化 我们初始化权重w的方法为随机生成这些权重 ... »
【tf.keras】在 cifar 上训练 AlexNet，数据集过大导致 OOM
在 cifar-10 上训练 AlexNet。将 32×32 的图片 resize 到 224×224 之后，数据将无法完全加载到 32G 内存中，会产生 OOM。那么此时的做法有： 1）将 resize 作为模型的一部分，如设置一个 layer 来对一个 batch 的图像进行 resize，这样... ... »
Adam和学习率衰减（learning learning decay）
本文简单介绍了 Adam 优化器，并讨论一个问题：Adam 这个自适应学习率的优化器还有必要使用学习率衰减（learning rate decay）吗？ ... »
基于Bert的文本情感分类
详细代码已上传到github: click me Abstract: Sentiment classification is the process of analyzing and reasoning the sentimental subjective text, that is, analyz ... »
【tf.keras】tf.keras加载AlexNet预训练模型
本文介绍了如何将 PyTorch 中实现的 AlexNet 预训练模型加载到 tf.keras 中。tf.keras没有预训练好的AlexNet模型，如果我们想要在keras上用AlexNet来做迁移学习，要重新在ImageNet上跑一遍AlexNet代码？这是不现实的。其它深度学习框架，如 Py... ... »
Keras 中 TimeDistributed 和 TimeDistributedDense 理解
From the offical code: So - basically the TimeDistributedDense was introduced first in early versions of Keras in order to apply a Dense layer stepwis ... »
“卷积神经网络（Convolutional Neural Network，CNN）”之问
学习卷积神经网络（CNN）过程中可能会遇到的问题，如 1×1 卷积核、感受野。持续 update 中。。。 ... »
贝叶斯深度学习（bayesian deep learning）
本文简单介绍了什么是贝叶斯深度学习，贝叶斯深度学习应该如何进行预测和训练，贝叶斯深度学习和非贝叶斯深度学习有什么区别，最后提醒注意贝叶斯神经网络和贝叶斯网络是两个不同概念。本文对如何训练贝叶斯深度学习没有进行过多阐述，具体可以参考引用资料。 ... »
TensorFlow Saver 保存最佳模型 tf.train.Saver Save Best Model
TensorFlow Saver 保存最佳模型 tf.train.Saver Save Best Model Checkmate is designed to be a simple drop-in solution for a very common Tensorflow use-case: ke ... »
Difference between softmax_cross_entropy_with_logits and softmax_cross_entropy_with_logits_v2
nn.softmax 和 softmax_cross_entropy_with_logits 和 softmax_cross_entropy_with_logits_v2 的区别 You have every reason to be confused, because in supervised ... »
【Paper】Deep & Cross Network for Ad Click Predictions
[Toc] 背景 探索具有预测能力的组合特征对提高CTR模型的性能十分重要，这也是大量人工特征工程存在的原因。但是数据高维稀疏(大量离散特征one hot之后)的性质，对特征探索带来了巨大挑战，进而限制了许多大型系统只能使用线性模型(比如逻辑回归)。线性模型简单易理解并且容易扩展，但是表达能力有限， ... »
自然语言处理中的语言模型预训练方法
自然语言处理中的语言模型预训练方法 最近，在自然语言处理（NLP）领域中，使用语言模型预训练方法在多项NLP任务上都获得了不错的提升，广泛受到了各界的关注。就此，我将最近看的一些相关论文进行总结，选取了几个代表性模型（包括ELMo [1]，OpenAI GPT [2]和BERT [3]）和大家一起学 ... »
深度学习（七）U-Net原理以及keras代码实现医学图像眼球血管分割
原文作者：aircraft 原文链接：https://www.cnblogs.com/DOMLX/p/9780786.html DRIVE数据集下载百度云链接：https://pan.baidu.com/s/10Fstf8H2LGVpwwXAW4lU2Q 提取码：yqvg U-net+kears实现 ... »
深度学习（六）keras常用函数学习
原文作者：aircraft 原文链接：https://www.cnblogs.com/DOMLX/p/9769301.html 如果还没有配置keras可以这个博客配置： 2018最新win10 安装tensorflow1.4（GPU/CPU）+cuda8.0+cudnn8.0-v6 + keras ... »