缩放 Caffe 权重

Question

我已经训练了 lenet 网络。 当我为模型提取权重时，我有这样的小值：

[[ 0.06115171 -0.12328118 -0.05160818 -0.10334936 -0.01025871 -0.0503762
   -0.07576288]]

我需要特定应用程序的整数值，有没有办法用整数值训练 caffe 或者有任何比例因子，因为所有值都接近 0？ 我正在寻找这样的过滤器：

(1 2 1)

(0 0 0)

(-1 -2 -1)

亲切的问候

Answer 1

虽然我不使用 caffe，但您的输出似乎是 l2 标准化的。 IE。你的最后一层是 L2 标准化。

如果您想获得整数，您可以将 sigmoid 函数应用于当前进入 L2 范数层的输出。您仍将获得浮点值，但它们将非常接近于零或 1。但为了使这些整数值有意义，您还需要在某种目标函数中使用此输出并对其进行训练.例如。与 logits 的交叉熵。

如果您想获得不同的整数，您可以在输出中添加另一个通道，其维度等于您想要的可能的唯一整数总数。这样你仍然会得到 0 和 1，但它们会一次性编码你需要的整数值。此外，如果您要这样做，您将需要在这个额外的通道上应用 softmax 而不是 sigmoid。