用于分割的动态增强答案

【问题标题】：On the fly augmentation for segmentation用于分割的动态增强
【发布时间】：2022-08-04 07:58:39
【问题描述】：

您好我正在尝试使用 U-net 进行 2D 前列腺分割。我想将数据增强应用于前列腺和标签图像（X，y），为此我目前正在使用 Torch.io，它将相同的随机转换应用于标签和数据本身。我的问题是我无法将所有增强数据加载到 RAM 中，因此想要进行动态增强。任何想法如何将转换后的数据直接输入到我的 u-net 网络？？？？谢谢。

仅供参考，我不能使用 Keras ImageDataGenerator，因为它只转换数据而不是标签！

标签： keras pytorch image-segmentation data-augmentation

【解决方案1】：

您应该查看诸如 albuminations 之类的库，它们扩展了 torchvision.transforms 以也适用于分段掩码等。

【讨论】：

是的，我查了一下，但我的问题不是扩大面具。我已经增加了掩码和数据，但我无法将其输入我的网络。我如何将它像 on-fly 方法一样放到网络上？
如果您将扩充作为Dataset 的__getitem__ 方法的一部分，它将在加载数据进行训练/验证时即时扩充数据。
很抱歉我的菜鸟问题，但我是新手：/我正在使用 keras 图层并且不知道如何编辑内置的 getitem 方法。我应该重新定义函数并在函数内部实现扩充吗？
@Beg我更像是一个pytorch类型的人。我不熟悉 keras 的这些细节。如果您使用的是 keras，为什么将您的问题标记为“pytorch”？
我想如果有 pytorch 建议我可以切换模型。