caffe loss 为 nan 或 0答案

【问题标题】：caffe loss is nan or 0caffe loss 为 nan 或 0
【发布时间】：2017-03-21 00:30:21
【问题描述】：

我正在训练一个网络，我已将学习率从 0.1 更改为 0.00001。输出始终保持不变。没有平均值用于训练。造成这种奇怪损失的原因可能是什么？

I1107 15:07:28.381621 12333 solver.cpp:404]     Test net output #0: loss = 3.37134e+11 (* 1 = 3.37134e+11 loss)
I1107 15:07:28.549142 12333 solver.cpp:228] Iteration 0, loss = 1.28092e+11
I1107 15:07:28.549201 12333 solver.cpp:244]     Train net output #0: loss = 1.28092e+11 (* 1 = 1.28092e+11 loss)
I1107 15:07:28.549211 12333 sgd_solver.cpp:106] Iteration 0, lr = 1e-07
I1107 15:07:59.490077 12333 solver.cpp:228] Iteration 50, loss = -nan
I1107 15:07:59.490170 12333 solver.cpp:244]     Train net output #0: loss = 0 (* 1 = 0 loss)
I1107 15:07:59.490176 12333 sgd_solver.cpp:106] Iteration 50, lr = 1e-07
I1107 15:08:29.177093 12333 solver.cpp:228] Iteration 100, loss = -nan
I1107 15:08:29.177119 12333 solver.cpp:244]     Train net output #0: loss = 0 (* 1 = 0 loss)
I1107 15:08:29.177125 12333 sgd_solver.cpp:106] Iteration 100, lr = 1e-07
I1107 15:08:59.758381 12333 solver.cpp:228] Iteration 150, loss = -nan
I1107 15:08:59.758513 12333 solver.cpp:244]     Train net output #0: loss = 0 (* 1 = 0 loss)
I1107 15:08:59.758545 12333 sgd_solver.cpp:106] Iteration 150, lr = 1e-07
I1107 15:09:30.210208 12333 solver.cpp:228] Iteration 200, loss = -nan
I1107 15:09:30.210304 12333 solver.cpp:244]     Train net output #0: loss = 0 (* 1 = 0 loss)
I1107 15:09:30.210310 12333 sgd_solver.cpp:106] Iteration 200, lr = 1e-07

【问题讨论】：

Common causes of nans during training的可能重复

标签： machine-learning neural-network computer-vision deep-learning caffe

【解决方案1】：

你的损失不是0，甚至没有接近。你从3.3e+11（即~10^11）开始，它似乎在它爆炸后不久就会得到nan。您需要大幅缩减损失值。如果您使用"EuclideanLoss"，您可能希望根据深度图的大小来平均损失，将预测值缩放到[-1,1] 范围，或任何其他可以防止损失爆炸的缩放方法。

【讨论】：

你如何根据深度图的大小来平均损失？
如果你的深度图大小是固定的，你可以使用loss_weight。否则，可能会更棘手。