神经网络中的降维和升维方法 (tensorflow & pytorch)

大名鼎鼎的UNet和我们经常看到的编解码器模型,他们的模型都是先将数据下采样,也称为特征提取,然后再将下采样后的特征恢复回原来的维度。这个特征提取的过程我们称为“下采样”,这个恢复的过程我们称为“上采样”,本文就专注于神经网络中的下采样和上采样来进行一次总结。写的不好勿怪哈。 神经网络中的降维方法 ... »

深度学习炼丹术 —— Taoye不讲码德,又水文了,居然写感知器这么简单的内容

手撕机器学习系列文章就暂时更新到此吧,目前已经完成了支持向量机SVM、决策树、KNN、贝叶斯、线性回归、Logistic回归,其他算法还请允许Taoye在这里先赊个账,后期有机会有时间再给大家补上。 更新至此,也是收到了部分读者的好评。虽然不多,但还是非常感谢大家的支持,希望每一位阅读过的读者都能够 ... »

Python图像读写方法对比

训练视觉相关的神经网络模型时,总是要用到图像的读写。方法有很多,比如matplotlib、cv2、PIL等。下面比较几种读写方式,旨在选出一个最快的方式,提升训练速度。 实验标准 因为训练使用的框架是Pytorch,因此读取的实验标准如下: 1、读取分辨率都为1920x1080的5张图片(png格式 ... »

pytorch训练GAN时的detach()

我最近在学使用Pytorch写GAN代码,发现有些代码在训练部分细节有略微不同,其中有的人用到了detach()函数截断梯度流,有的人没用detch(),取而代之的是在损失函数在反向传播过程中将backward(retain_graph=True),本文通过两个 gan 的代码,介绍它们的作用,并分 ... »

pytorch加载语音类自定义数据集

pytorch对一下常用的公开数据集有很方便的API接口,但是当我们需要使用自己的数据集训练神经网络时,就需要自定义数据集,在pytorch中,提供了一些类,方便我们定义自己的数据集合 torch.utils.data.Dataset:所有继承他的子类都应该重写 __len()__ , __geti ... »

直接理解转置卷积(Transposed convolution)的各种情况

使用GAN生成图像必不可少的层就是上采样,其中最常用的就是转置卷积(Transposed Convolution)。如果把卷积操作转换为矩阵乘法的形式,转置卷积实际上就是将其中的矩阵进行转置,从而产生逆向的效果。所谓效果仅仅在于特征图的形状,也就是说,如果卷积将特征图从形状a映射到形状b,其对应的转 ... »

第一次作业:深度学习基础

第一次作业:深度学习基础 经过了第一周的学习,对深度学习有了系统的认识。 视频学习 1.1 绪论 1.2 深度学习概述 1.3 pytorch基础 代码练习 2.1 螺旋数据分类 2.2 回归分析 1. 视频学习 通过视频学习整理出以下知识点,做好理论储备。 1.1 绪论 AI诞生:1956年美国达 ... »

循环神经网络(RNN)

循环神经网络(Recurrent Neural Network,RNN)是一种别具一格的网络模型,其循环元节点不仅可以接上来自上层的输入数据,也可以接收自身上一次迭代的输出,基于这种特殊的结构,循环神经网络拥有了短期记忆能力,通过“记忆”保存了数据间的关联关系,所以尤为适合处理语言、文本、视频等时序... ... »

bert 压缩优化方向的论文

bert 瘦身版本,基于知识蒸馏: https://arxiv.org/abs/1909.10351 蒸馏的其他用法 因为蒸馏只是一种将知识提取注入的技巧,所以它不光可以用来给模型减肥。也可以让模型大小保持不变,但通过从集成模型蒸馏,或者其他一些蒸馏技巧加强单一模型的表现。可以参考下面两个论文: 论 ... »

深入浅出PyTorch(算子篇)

Tensor 自从张量(Tensor)计算这个概念出现后,神经网络的算法就可以看作是一系列的张量计算。所谓的张量,它原本是个数学概念,表示各种向量或者数值之间的关系。PyTorch的张量(torch.Tensor)表示的是N维矩阵与一维数组的关系。 torch.Tensor的使用方法和numpy很相 ... »

深度学习

神经网络 BPNN 感知机 神经网络入门 反向传播 tensorflow tf基础 控制依赖项 变量命名域和tensorboard 一元线性回归 模型持久化 交叉熵 global_steps的使用 手写数据集实现 CNN 激活函数 CNN过拟合 手写数据集CNN模型 权重初始化-CNN 批归一化 自 ... »

多元函数链式法则与反向传播算法的实例推演,有直觉感受但不知如何实现的可以看看(详细)

反向传播算法基于多元函数链式法则,以下记录多元函数链式法则的证明与反向传播算法的实战推演。 多元复合函数的求导法则(多元链式法则) 定义 如果函数$u=varphi(t)$及$v=psi(t)$都在点$t$可导,函数$z = f(u,v)$在对应点$(u,v)$具有连续偏导数(重点),那么复合函 ... »

卷积生成对抗网络(DCGAN)---生成手写数字

深度卷积生成对抗网络(DCGAN) 生成 MNIST 手写图片 1、基本原理 生成对抗网络(GAN)由2个重要的部分构成: 生成器(Generator):通过机器生成数据(大部分情况下是图像),目的是“骗过”判别器 判别器(Discriminator):判断这张图像是真实的还是机器生成的,目的是找出 ... »

用TensorFlow搭建一个万能的神经网络框架(持续更新)

我一直觉得TensorFlow的深度神经网络代码非常困难且繁琐,对TensorFlow搭建模型也十分困惑,所以我近期阅读了大量的神经网络代码,终于找到了搭建神经网络的规律,各位要是觉得我的文章对你有帮助不妨点一个关注。 我个人把深度学习分为以下步骤:数据处理 --> 模型搭建 --> 构建损失 -- ... »

机器学习概览

目录 机器学习概览 learning from data 什么是机器学习 机器学习类型 Supervised learning 监督学习 Unsupervised learning 无监督学习 Reinforcement learning 强化学习 机器学习的过程 如何衡量一个模型的好坏 Overf ... »

【原】深度学习的一些经验总结和建议 | To do v.s Not To Do

前言:本文同步发布于公众号:Charlotte数据挖掘,欢迎关注,获得最新干货~ 昨天看到几篇不同的文章写关于机器学习的to do & not to do,有些观点赞同,有些不赞同,是现在算法岗位这么热门,已经不像几年前一样,可能跑过一些项目、懂点原理就可以了,现在对大家的要求更高,尤其工程能力更不 ... »