PyTorch - 通过 ImageFolder 加载数据时如何使用 k 折交叉验证？

【问题标题】：PyTorch - How to use k-fold cross validation when the data is loaded through ImageFolder?PyTorch - 通过 ImageFolder 加载数据时如何使用 k 折交叉验证？
【发布时间】：2020-04-27 00:50:30
【问题描述】：

我的数据，即图像，存储在文件系统中，并通过PyTorch 的ImageFolder 数据加载器输入我的卷积神经网络。因此，training、validation 和 test 数据被手动拆分到文件系统上的不同文件夹中。那么，在使用ImageFolder时如何申请k-fold cross validation？

【问题讨论】：

标签： python computer-vision pytorch conv-neural-network torchvision

【解决方案1】：

您可以将当前使用 data.ConcatDataset 的固定训练/验证/测试折叠合并到单个数据集中。然后您可以使用data.Subset 将单个数据集一遍又一遍地随机拆分为不同的折叠。

【讨论】：

我使用了random_split 函数，该函数在与Subset 类相同的脚本中定义。 Subset 构造函数是否也随机拆分数据集？
另外，您确定这种方式可以保证在训练、验证和测试期间每个类的图像都存在吗？例如，我有 7 个目标类，图像是根据文件系统上的标签组织的（ImageFolder 确实以这种方式工作）。