负对数似然的归约参数

Question

PyTorch 中负对数似然损失函数的归约参数的直观解释是什么？该参数可以采用诸如“mean”或“sum”之类的值。它是对批次的元素求和吗？

torch.nn.functional.nll_loss(outputs.mean(0), target, reduction="sum")

Answer 1

来自文档：

指定应用于输出的缩减：'none' | '意思' | '和'。 'none'：不应用减少，'mean'：输出的总和将除以输出中的元素数，'sum'：输出将被求和。注意： size_average 和 reduce 正在被弃用，同时，指定这两个参数中的任何一个都将覆盖缩减。默认值：“平均”

如果你使用none，输出会和batch size一样，

如果使用均值，则为均值（总和除以批次）

如果使用 sum，它将是所有元素的总和。

您也可以使用以下代码验证这一点：

import torch 
logit = torch.rand(100,10)
target = torch.randint(10, size=(100,)) 
m = torch.nn.functional.nll_loss(logit, target)
s = torch.nn.functional.nll_loss(logit, target, reduction="sum") 
l = torch.nn.functional.nll_loss(logit, target, reduction="none")
print(torch.abs(m-s/100))
print(torch.abs(l.mean()-m))

输出应该是 0 或者非常接近于 0。