虚拟机和 Ubuntu 14.04 中 GoogLeNet 模型的不同输出答案

【问题标题】：Different output of GoogLeNet Model in Virtual Machine and Ubuntu 14.04虚拟机和 Ubuntu 14.04 中 GoogLeNet 模型的不同输出
【发布时间】：2016-08-27 01:02:41
【问题描述】：

我正在使用 GoogleNet 模型对图像进行二元分类。早些时候，我使用的是虚拟机，现在我使用的是 Ubuntu 14.04。两者都给了我不同的结果。我试图找出很多问题出在哪里，但无法确定问题所在。

我已经分别训练了两个模型，一个在 Ubuntu 14.04 中，另一个在虚拟机中。两种型号都使用 CPU。两者都没有使用 cuDNN。关于 BLAS 库，我使用的是默认 ATLAS。

任何建议都会有很大帮助。

【问题讨论】：

结果有何不同？您是从经过训练的模型（“微调”）还是从头开始（随机权重）开始训练的？两次运行中caffe的随机种子是否可能不同？
在这两种情况下，我都是从头开始使用相同的参数进行训练的。结果的差异超过 20%。
在这两种情况下，您是否将solver.prototxt 中的random_seed 明确地固定为同一个种子？
不，我不知道。

标签： machine-learning neural-network computer-vision deep-learning caffe

【解决方案1】：

由于您在这两种情况下都开始了from scratch 的训练，并且您没有在solver.prototxt 中明确修复random_seed 参数，因此很可能caffe 为两个训练过程中的每一个都使用不同的随机权重初始化了您的模型。从不同的点开始很可能以不同的训练模型结束。
如果您担心两种架构之间的 caffe 可能存在差异，请尝试重复训练，但在solver.prototxt 中使用相同 random_seed 参数。

【讨论】：

那么，我应该使用下面的行来设置随机种子。 radom_seed = 10 这个命令对吗？还是我需要分配其他值。
@AshutoshSingla 正确的语法应该是 random_seed: 10 或任何整数。我个人最喜欢的是 310 ;)
好的。非常感谢你的帮助。我会做同样的事情来更新你。
@AshutoshSingla 好吧，等待“接受”这个对新实验结果的答案可能更合适......（不是我在抱怨）
我在求解器文件中设置了 random_seed: 1 ，但仍然得到不同的结果。我也调查了这个问题。我找到了这个链接groups.google.com/forum/#!topic/caffe-users/bsp34yOcEZo