Tensorflow Object Detection API - 重新训练以使用来自不同色彩空间的图像？答案

【问题标题】：Tensorflow Object Detection API - Retrain to use Images from different colorspace?Tensorflow Object Detection API - 重新训练以使用来自不同色彩空间的图像？
【发布时间】：2018-03-03 20:35:33
【问题描述】：

我已经能够重新训练对象检测模型以使用我的自定义类。但我现在要做的是在推理期间修改输入到不同的颜色空间（最好是 YUV）。

我需要修改网络吗？可以使用相同的 API 完成吗？我是否仍然可以使用迁移学习，还是必须从头开始训练？

【问题讨论】：

标签： image-processing machine-learning tensorflow object-detection

【解决方案1】：

只转换为 RGB 可能是最简单的，但绝对可以使用迁移学习进行训练。您仍然需要将 YUV 值保存为 JPEG 的 RGB 通道，并且不清楚这样做而不是简单地转换为 RGB 是否有任何显着优势。

如果您想以较低的空间分辨率表示色度 (U,V) 通道（通常这样做），一个可能的小速度优势可能会涉及到设计一个可以利用这一点的自定义架构.

【讨论】：

我正在尝试在 Android 环境中使用该模型，其中获得的图像的默认颜色空间为 YUV。考虑到时间和性能，我想消除预处理步骤。

【解决方案2】：

您不需要更改网络架构。

您可以使用相同的 API 进行训练。

但我认为迁移学习会有问题。

您用于进行迁移学习的训练网络是在 RGB 通道上训练的。这意味着可能在第一层中，您有过滤器正在寻找 RGB 值之间的特定差异。例如，当 B 通道和 R 通道之间存在一些差异时找到边缘。此过滤器不会针对 V 和 Y 通道之间的差异找到相同的东西。

因为从第一层开始你就会得到不同的结果，这将传播到整个网络。

作为一般规则，如果您向网络中插入的数据与预期不同，则不要指望获得相同的结果。

【讨论】：

您觉得这是不可能的，还是因为它是实验性的，因此无法预测结果？
我认为你不会得到预期的结果。不过我觉得你还是可以试试的。