class_weights 或加权损失在哪里惩罚网络？

Question

我正在从事一个语义分割项目，我必须处理高度不平衡的多类数据。我在训练期间使用model.fit 参数搜索优化它，并在其中使用class_weights 或sample_weights。

我可以使用 class_weight 字典实现以下功能

{ 0:1, 1:10,2:15 }

我还在loss function中看到了一种更新权重的方法

但是这些权重会在什么时候更新？

1. 如果使用 class_weights 会在哪里受到惩罚？我已经为每一层有一个kernel_regularizer，所以如果我的班级必须根据我的班级权重受到惩罚，那么它将惩罚每一层的输出 y=Wx+b 还是仅在最后一层?
2. 同样，如果我使用加权损失函数，它会仅在损失计算之前的最后一层或每层然后计算最终损失吗？

对此的任何解释都会非常有用。

Answer 1

您在字典中提到的class_weights 是为了说明您的数据不平衡。它们永远不会改变，它们只是为了增加对少数类的错误分类实例的惩罚（这样你的网络会更加关注它们，并且返回的梯度将一个“Class2”实例视为一个“Class2”实例的 15 倍重要） Class0' 实例）。

您提到的kernel_regularizer 驻留在您的损失函数中，并惩罚整个网络中权重矩阵的大权重规范（如果您在Dense 层中使用kernel_regularizer = tf.keras.regularizers.l1(0.01)，它只会影响该层）。所以这是一个不同的权重，与类无关，只与网络中的权重有关。您最终的损失将类似于 loss = Cross_entropy + a * norm(Weight_matrix) ，这样网络将分配一个额外的任务来最小化分类损失（交叉熵），而权重范数仍然很低。