深度学习四从循环神经网络入手学习LSTM及GRU

循环神经网络 简介 循环神经网络(Recurrent Neural Networks, RNN) 是一类用于处理序列数据的神经网络。之前的说的卷积神经网络是专门用于处理网格化数据(例如一个图像)的神经网络,而循环神经网络专门用于处理序列数据(例如$x^{(1)},x^{(2)},···,x^{(T) ... »

BCE和CE交叉熵损失函数的区别

首先需要说明的是PyTorch里面的BCELoss和CrossEntropyLoss都是交叉熵,数学本质上是没有区别的,区别在于应用中的细节。 BCE适用于0/1二分类,计算公式就是 “ -ylog(y^hat) - (1-y)log(1-y^hat) ”,其中y为GT,y_hat为预测值。这样,当 ... »

梯度消失和梯度爆炸及解决方案

梯度在神经网络中的作用 在谈梯度消失和梯度爆炸的问题之前,我们先来考虑一下为什么我们要利用梯度,同时铺垫一些公式,以便于后面的理解。 存在梯度消失和梯度爆炸问题的根本原因就是我们在深度神网络中利用反向传播的思想来进行权重的更新。即根据损失函数计算出的误差,然后通过梯度反向传播来减小误差、更新权重。 ... »

详解深度学习感知机原理

大家好,欢迎阅读深度学习专题。 我们之前的机器学习专题已经结束了,我们把机器学习领域当中常用的算法、模型以及它们的原理以及实现都过了一遍。虽然还有一些技术,比如马尔科夫、隐马尔科夫、条件随机场等等没有涉及到。但是这些内容相比来说要弱一些,使用频率并不是非常高,我们就不一一叙述了,感兴趣的同学可以自行 ... »

深度学习三:卷积神经网络

卷积神经网络 卷积神经网络(Convolutional Neural Network,CNN)又叫卷积网络(Convolutional Network),是一种专门用来处理具有类似网格结构的数据的神经网络。卷积神经网络一词中的卷积是一种特殊的线性运算。卷积网络是指那些至少在网络的一层中使用卷积运算来 ... »

第一次作业:深度学习基础

【任务一】视频学习心得及问题总结 根据下面三个视频的学习内容,写一个总结,最后列出没有学明白的问题。 【任务二】代码练习 在谷歌 Colab 上完成代码练习中的 2.1、2.2、2.3、2.4 节,关键步骤截图,并附一些自己的想法和解读。 【任务三】进阶练习 在谷歌 Colab 上完成猫狗大战的VG ... »

深度学习-卷积神经网络-算法比较

Convolutional Neural Networks(CNN) Abstract 随着深度学习的发展,学术界造就了一个又一个优秀的神经网络,目前,最受欢迎的神经网络之一则是卷积神经网络,尽管有时它出现让我们无法理解的黑盒子现象,但它依然是值得我们去探索的,CNN的设计也遵循了活生物体的视觉处理 ... »

【机器学习】数值分析(1)—— 任意方程求根

任意方程求根 简介 方程和函数是代数数学中最为重要的内容之一,从初中直到大学,我们都在研究着方程与函数,甚至我们将图形代数化,从而发展出了代数几何、解析几何的内容。而在方程与函数中,我们研究其性质最多的,往往就是方程的根(零点),即使是研究方程的极值点、鞍点等,我们无非也只是研究其微商的零点。 我们 ... »

循环神经网络(RNN)

循环神经网络(Recurrent Neural Network,RNN)是一种别具一格的网络模型,其循环元节点不仅可以接上来自上层的输入数据,也可以接收自身上一次迭代的输出,基于这种特殊的结构,循环神经网络拥有了短期记忆能力,通过“记忆”保存了数据间的关联关系,所以尤为适合处理语言、文本、视频等时序... ... »

大话深度学习:B站Up主麦叔教你零代码实现图像分类神经网络

之前,我在B站发布了“大话神经网络,10行代码不调包,听不懂你打我!”的视频后,因为简单易懂受到了很多小伙伴的喜欢! 但也有小伙伴直呼不够过瘾,因为大话神经网络只有4个神经元。 也有小伙伴问不写代码,是否可以做人工智能。应对这两个问题,我录制了新的视频,来实现一套基于CNN的图片分类的神经网络! 华 ... »

序列推荐(transformer)

SDM:SDM: Sequential Deep Matching Model for Online Large-scale Recommender System 在淘宝的场景中,用户的行为主要分为两种,第一个是当前的浏览session,用户在一个session中,需求往往是十分明确的,比如你想买球... ... »

Pytorch入门——手把手带你配置云服务器环境

本文始发于个人公众号:TechFlow,原创不易,求个关注 今天这篇是Pytorch专题第一篇文章。 大家好,由于我最近自己在学习Pytorch框架的运用,并且也是为了响应许多读者的需求,推出了这个Pytorch专题。由于这个专题是周末加更的,所以不能保证更新进度,我尽量和其他专题一样,每周一更。 ... »

Spark如何与深度学习框架协作,处理非结构化数据

随着大数据和AI业务的不断融合,大数据分析和处理过程中,通过深度学习技术对非结构化数据(如图片、音频、文本)进行大数据处理的业务场景越来越多。本文会介绍Spark如何与深度学习框架进行协同工作,在大数据的处理过程利用深度学习框架对非结构化数据进行处理。 Spark介绍 Spark是大规模数据处理的事 ... »

图文并茂,700 页的机器学习笔记火了!值得学习

最近在学习机器学习,看到了这份笔记,介绍的非常详细,记录一下作为学习。 作者 梁劲(Jim Liang),来自 SAP (全球第一大商业软件公司)。 书籍特点 条理清晰,含图像化表示更加易懂,对公式有详细的注解等。 内容概要 主要分为基本概念、常用算法和其他三部分。 为什么会这样? 首当其冲就是数学 ... »

自己动手实现深度学习框架-8 RNN文本分类和文本生成模型

代码仓库: https://github.com/brandonlyg/cute-dl 目标 上阶段cute-dl已经可以构建基础的RNN模型。但对文本相模型的支持不够友好, 这个阶段的目标是, 让框架能够友好地支持文本分类和本文生成任务。具体包括: 添加嵌入层, 为文本寻找高效的向量表示。 添加类 ... »

深度学习-神经网络

深度学习-神经网络 摘要 机器学习是人工智能的核心,而深度学习又是机器学习的核心。三者关系可用如下图来表示。 人工神经网络(Artificial Neural Networks,简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model),它是一种模仿动物神经网络行为 ... »