在TensorFlow中,变量(tf.Variable)的作用就是保存和更新神经网络的参数。在神经网络中,给变量赋予随机数最为常见,所以一般使用随机数给TensorFlow的变量初始化。
1、tf.random_normal 正态分布随机数
2、tf.truncated_normal
正态分布,但如果随机出来的值偏离值超过2个标准差,那么这个数将会被重新随机
3、tf.random_uniform 均匀分布
4、tf.random_gamma Gamma 分布
TensorFlow也支持常数来初始化一个变量。
1、tf.constant 产生一个给定值的常量
2、tf.zeros(shape,dtype) 产生全为0的数组
3、tf.ones
产生全为1的数组
4、tf.fill 产生一个全部为给定数值的数组
在神经网路中,偏执项(bias)通常会使用常数来设置初始值。
前向传播过程
维度变量是一个重要的属性,和类型不大一样,维度在运行中是可能改变的,但是需要设定参数validate_shape=False