TensorFlow学习笔记-总结与排错

总结

为了学习和使用tensorflow作为工具, 我决定逐步亲自动手一行行写一下：

• MNIST手写模型;
• MNIST多层感知机(前馈神经网络,2层);
• MNIST卷积网络(2层);
• cifar-10卷积网络(2层);
• word2vec;
• 循环神经网络;
• fast-RCNN。

• 输出层常用softmax(多分类问题)/sigmoid(二分类问题)/线性输出(回归问题)。
• 隐藏层常用ReLU/双曲正切/softplus函数/径向基函数

排错

1. 设计模型时矩阵的大小不要弄错,仔细检查;
2. 不要忘了初始化各项参数;
3. 如果运行不报错,而训练后预测值明显很差, 可检查 Loss函数是否少了个负号等。
4. tensorflow.reduce_*()函数的axis=[0]则变为行向量，axis=[1]则变为列向量。axis=0意味着垂直轴,axis=1意味着水平轴。
5. python里的shape=[3]意味着行向量，本质是[1,3]。