Mxnet Gluon 自定义数据迭代器

Question

我使用mx.io.DataIter 类编写了一个自定义数据迭代器。将此数据迭代器与Gluon 接口一起使用的最简单方法是什么？

我浏览了文档，但找不到简单的方法。我的一个想法是将它用作迭代器并从每个批次中获取数据和标签，如下所示。

for e in range(epochs):
    train_iter.reset()
    for batch_data in train_iter:
        data = nd.concatenate(([d for d in batch_data.data]))
        label = nd.concatenate(([l for l in batch_data.label]))
        with autograd.record():
            output = net(data)
            loss = softmax_cross_entropy(output, label)
        loss.backward()
        trainer.step(batch_size)
        print(nd.mean(loss).asscalar())

但这可能不是最优的，因为我需要每批连接。

1. 实现这一目标的最佳方法是什么？即是否有系统的
   为胶子编写一个简单的自定义迭代器的方法？

2. 以上情况如何添加上下文信息？

Answer 1

我认为你的方法有效。基本上你可以从batch_data.data 和label 从batch_data.label 获得data 并将它们输入网络。

我不确定您为什么需要连接数据和标签 - 可能与您的网络定义有关。

如果您需要拆分数据并在多个 GPU 上进行训练，您可以使用 gluon.utils.split_and_load 函数来执行此操作。