深度学习中可能/可能的类别答案

【问题标题】：Possible/maybe category in deep learning深度学习中可能/可能的类别
【发布时间】：2017-06-13 09:33:57
【问题描述】：

我有兴趣在深度学习任务中利用一些部分标记的数据。我使用的是完全卷积的方法，而不是从标记区域中采样补丁。

我有掩码，可以勾勒出图像中确定正例的区域，但图像中未掩码的区域不一定是负的——它们可能是正的。有谁知道将这种类型的课程融入深度学习环境的方法？

Triplet/ contrastive loss 似乎是可行的方法，但我不确定如何适应“模糊”或模棱两可的负/正空间。

【问题讨论】：

标签： machine-learning neural-network deep-learning keras conv-neural-network

【解决方案1】：

尝试标签平滑，如Deep Learning book 的第 7.5.1 节所述：

我们可以假设对于某个小常数eps，训练集标签y 的正确概率为1 - eps，否则任何其他可能的标签都可能是正确的。

标签平滑通过将硬 0 和 1 分类目标分别替换为 eps / k and 1 - (k - 1) / k * eps 的目标，从而基于具有 k 输出值的 softmax 对模型进行正则化。

请参阅我关于 implementing label smoothing in Pandas 的问题。

否则，如果您确定某些领域是负面的，而另一些领域是正面的，而有些领域是不确定的，那么您可以引入第三个 uncertain 类。我处理过包含 uncertain 类的数据集，这些类对应于可能属于任何可用类的样本。

【讨论】：

谢谢。我可以弄清楚该怎么称呼它，但找不到正确的想法 - 我会看看它是否有效。

【解决方案2】：

我假设您在处理数据分割任务时遇到了不明确的背景问题（例如，您不确定是否所有示例都已正确标记）。最近我遇到了类似的问题，这是我在研究过程中遇到的：

在深度学习之前的过去和深度学习时代的开始 - 处理这个问题的常用方法是平滑你的输出一个概率模型，它会考虑到嘈杂标签的可能性（您可以在book 的Learning to Label from Noisy Data 章节中了解这一点。区分这种概率模型很重要从用于平滑标签的模型到用于双边平滑的经典 CRF 等图像或标签结构。
我们最终使用（并且工作得非常好）的是来自 paper 的 Channel Inhibited Softmax 想法。就数学属性而言 - 它使您的网络对某些未标记的对象更加健壮 - 因为它使您的网络在正确标记的对象处输出更高的正值logits。

【讨论】：

【解决方案3】：

您可以将此视为半监督问题。使用没有标签的完整数据集来训练瓶颈自动编码器结构（或 GAN 方法）。然后可以调整这个预训练模型（例如，移除最后一层，在瓶颈特征的顶部添加更好的层结构）并在标记数据上进行微调。

【讨论】：