Caffe：如何训练端到端（图像到图像）？

Question

我们对caffe 还很陌生，但到目前为止我们所看到的看起来确实很有希望。

在阅读了几篇论文 (1,2) 后，我们想重现 1 的结果，特别是关于分割挑战 4。

我们从 3 下载了修改后的 caffe，并且能够执行它，只是为了看看，经过训练的网络无法使用来自 4 的数据集。

起初我们认为网络需要针对特定​​问题进行训练。 这导致了如何进行“图像到图像（又名端到端）学习”（4，训练数据）的问题。

这将我们引向“整体嵌套边缘检测”（hed，2），其中似乎使用了图像到图像的学习。 使用 hed，我们能够自行重新训练网络。但它不起作用（如果我们尝试为4 的数据集训练网络，它会导致所有 0 或 0.5 个图像 - 黑色图像 :-( ）。对于初始化，我们编写了一个脚本来计算平均图女巫我们用于4的数据集。

我们的问题是：

• 我们如何通过运行重现1 中提到的结果 图像到图像的训练？

或

• 您如何训练网络，我们在其中进行图像到图像学习？
• 既然我们只有 30 个图像到图像对，我们是否应该实施 1/3 中提到的变形通过 matlab/python 或者是否有 caffe 中的功能已经？
• 我们是否遗漏了1 或2 中的一些简单内容？

亲切的问候， 克劳斯和伯恩哈德

Ps：我们在 caffe-user 群里问了同样的问题，打算在locations 都发布解决方案。

Answer 1

一段时间后，尝试了几种不同的方法 - 我偶然发现：

https://github.com/naibaf7

使用 caffe fork，通过 caffe_neural_models 和 caffe_neural_tool 训练图像（原始）到图像（标签）可以非常简单。

只需查看“caffe_neural_models/net*”即可了解不同的配置。