如何在语义分割中删除特定的标记像素

Question

我是语义分割的新手。我使用 FCN 来训练我的数据集。在数据集中，有一些未知类的像素。我想把这门课排除在我的损失之外。所以我根据整个数据集的类分布定义了一个权重，并将未知类的权重设置为零，如下所示。但我仍然得到这门课的预测。你知道如何正确排除一个特定的类吗？

loss = tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits
                      (logits=logits, labels=tf.squeeze(annotation,
                                                        squeeze_dims=[3]),name="entropy"))
weighted_losses = (loss * weights)
train_op = optimizer.minimize(weighted_losses,
                                  var_list=tf.trainable_variables(),
                                  global_step=tf.train.get_global_step())

我不知道pytorch，但我听说损失函数中有一些为此目的的东西“ignore_index”，你可以忽略一个特定的类。如果这是解决我的问题的正确方法，您知道 tensorflow 中是否有等效的东西？

Answer 1

对于语义分割，您有 2 个“特殊”标签：一个是“背景”（通常为 0），另一个是“忽略”（通常为 255 或 -1）。

• “背景”与所有其他语义标签一样，意思是“我知道此像素不属于我正在使用的任何语义类别”。在适用时正确输出“背景”对您的模型很重要。
• “忽略”标签不是您的模型可以预测的标签 - 它“超出”其范围。这个标签只存在于训练注释中，意思是“我们不确定应该如何标记这个像素，所以忽略它”。

当您的目标标签中有“忽略”像素时，您的模型不能（也不应该）输出“忽略”标签。不过，您的模型应该输出 something。这个像素被标记为“忽略”的事实意味着无论您的模型输出该像素的任何内容都将被损失函数忽略（假设您告诉损失忽略“忽略”像素）。此外，如果您的测试/验证集具有“忽略”标签，则意味着无论您的模型为这些像素输出什么，它都会被评分机制简单地忽略，并且不会被视为正确或不正确的预测。

总结一下：即使基本事实有“忽略”标签，模型也不能也不应该输出“忽略”。它只是输出它感觉的任何有效标签，完全没问题。

对于 tensorflow，您可以查看 this thread。