文章目录
神经网络历史
概述
生物神经网络
一般指生物的大脑神经元，细胞，触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动。
人工神经网络
人工神经网络也简称为神经网络或称作连接模型，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，这种网络依靠系统的复杂程度，通过调整内部大量结点之间相互联系的关系，从而达到处理信息的目的。
起源
图灵测试
两大派别
神经网络的发展
神经网络
将连续的值，转变为离散的值，就要用到**函数。 - 二分类
也可以分为多种分类 - 多分类
分类问题一般是非线性的。
因为存在跳变
**函数是神经网络中主要用于去线性化的函数。
**函数之一： sigmoid函数的作用是把参数转化成为0到1之间的一个小数。
**函数
ReLU函数
神经元的连接
多对多的关系
典型网络结构
全连接神经网络
全连接/前馈神经网络能解决很多问题， 但是本身存在一个问题， 对于某些数据而言， 一是参数量巨大，二是不能充分应用数据的某些特性。
搭建神经网络
解决语种识别问题调参根据经验和直觉来进行。
学习：给定数据，模型通过一个程序自己学到权重和偏置（w和b）
沿梯度下降最小的地方。
SGD算法
缺点：手动设置学习率，获得一个较准确的数值是比较难的。