具有中间未知功能的图像到图像转换

Question

我有一组成对的二进制图像 X、Y 和一个我无权访问的外部函数，它接收 X 作为输入并输出二进制图像 W。

我想开发一个可以将 X 转换为 X_optimal 的神经网络，这样在将其传递给外部函数后，我可以最小化 |Y-W|。

外部函数只能接收二值图像，它输出二值图像，所以 X_optimal 必须是另一个二值图像，问题是神经网络的输出通常在 0 或 1 之间，如果我应用阈值，那么我无法通过网络反向传播，因为它是不可微的。

我想对如何开始我的网络架构有一些直觉，或者如果你知道一些我可以阅读的论文，那将非常有帮助

Answer 1

您的损失函数可以是 NN 输出减去预期输出。在这种情况下，您可以计算 X_optimal 和逆 Y 的损失函数（相对于您的外部函数）。

您可以尝试使用 W-Y 的损失函数，但它可能无法与神经网络收敛。您可能想先尝试 XGBoost。