神经网络-Neural Network 简介

神经网络-Neural Network 简介

• 神经元构成
• 基本结构
• 简单思考
• 参考

神经元构成

$z=sum(x) = w^Tx+b=w_1x_1+w_2x_2+w_3x_3+b$z=sum(x)=wTx+b=w1​x1​+w2​x2​+w3​x3​+b
$a=g(z)= 1/(1+e^{-z})$a=g(z)=1/(1+e−z)
每一个神经元可以认为就是一个简单的逻辑回归分类器。

基本结构

输入层 --> 隐藏层 --> 输出层


输入层和隐藏层中的每个神经元之间的连接权重，构成了该神经元的表达内容，可以将Neural Network 看做是若干个，弱的线性分类器的组合。

简单思考

根据神经元的定义，可以简单的认为，逻辑回归就是一个浅的神经网络。
神经网络并不是一个新的概念，以此为基础的各种深度神经网络在CV、NLP等领域都取得了成功。除了算力和数据量的支撑之外，它还满足原理简单（尽管其中间过程仍然是一个黑盒，但思想是简单清晰的就是弱分类器的组合）的特点，分层、连接组合的方式符合人类行为的思维原则（两个简单步骤完成一件事，比一个复杂的步骤要轻松）。类似的思想在传统机器学习的领域也是适用的，如各类集成学习的模型仍然在工业界被广泛使用。

参考

wikipedia: Artificial neural network
人工神经网路
一个可视化的神经网络在线平台