Deep Neural Networks，Alexnet 输出和损失函数的关系是什么？

Question

我正在尝试使用 Matconvnet DagNN 来理解 DNN。我有一个基于以下最后两层网络的问题，该网络使用欧几里德损失进行回归

net.addLayer('fc9', dagnn.Conv('size', [1 1 4096 1], 'hasBias', true, 'stride', [1,1], 'pad', [0 0 0 0]), {'drop8'}, {'prediction'},  {'conv10f'  'conv10b'});
 net.addLayer('l2_loss', dagnn.L2Loss(), {'prediction', 'label'}, {'objective'});

L2Loss 的代码在哪里

function Y=vl_nnL2(X,c,dzdy)
 c=reshape(c,size(X));
 if nargin == 2 || (nargin == 3 && isempty(dzdy))
    diff_xc=(bsxfun(@minus, X,(c)));
    Y=diff_xc.^2;
 elseif nargin == 3 && ~isempty(dzdy)
    Y=(X-c).*dzdy;
 end
end

X为fc9层的输出，为长度为100（batch size）的特征向量，c为标签。

1. 在损失函数中，如何比较两者？ X 是一个激活，一个不是概率的向量。我猜。 C是标签，整数值范围从..0-10。那么如何比较和减去它们呢？不知道这两者有没有关系？
2. 另外，反向传播如何比较 fc9 输出和标签以实现最小化？

*-----------新修改的L2回归函数

function Y=vl_nnL2_(X,c,dzdy)
    c=reshape(c,size(X));
    [~,chat] = max(X,[],3) ;
    [~,lchat] = max(c,[],3) ; 
if nargin == 2 || (nargin == 3 && isempty(dzdy))
      t = (chat-lchat).^ 2 ;
     Y=sum(sum(t));
elseif nargin == 3 && ~isempty(dzdy)
  ch=squeeze(chat);
  aa1=repmat(ch',35,1);
  lch=squeeze(lchat);
  aa2=repmat(lch',35,1);
  t = (chat-lchat);
  Y = dzdy.*(aa1-aa2)*2;
Y = single(reshape(Y,size(X)));

end
end

Answer 1

"if nargin == 2 || (nargin == 3 && isempty(dzdy))" 检查是否为正向模式。

在正向模式下，您计算（预测 - 标签）。^2：

diff_xc=(bsxfun(@minus, X,(c)));
Y=diff_xc.^2;

L2 loss w.r.t. 的导数预测是 2*（预测 - 标签）。 这样我们就有了

Y=(X-c).*dzdy;

在您的代码中。 在这里，您的代码的作者不够严格，无法放置常量 2*。 但总的来说，它会起作用，因为它只是渐变上的一个恒定比例因子。 dzdy 是来自下游层的梯度。如果这一层是最后一层，dzdy=1，由 MatConvnet 手动提供。

c 必须与 X 的大小相同，因为它的回归。

更多的 cmets 来了。如果您还有其他问题，请告诉我。我对 MatConvNet 很熟悉。