CNTK：从 numpy 数组创建 MinibatchSource 以进行多 GPU 训练答案

【问题标题】：CNTK: Create MinibatchSource from numpy array for multi GPU trainingCNTK：从 numpy 数组创建 MinibatchSource 以进行多 GPU 训练
【发布时间】：2017-08-26 08:19:54
【问题描述】：

我的预处理图像数据保存在 numpy 数组中，我的脚本在 feeding numpy array 的单个 GPU 上运行良好。据我了解，我们需要为多 GPU 训练创建MinibatchSource。我正在检查这个示例（ConvNet_CIFAR10_DataAug_Distributed.py）以进行分布式训练，但是它使用*_map.txt，它基本上是图像文件（例如png）的路径列表。我想知道最好的方法是从 numpy 数组创建 MinibatchSource，而不是将 numpy 数组转换回 png 文件。

【问题讨论】：

听起来像ImageDeserializer 用于图像，但它要求目标变量是标量（如类标签）。但是，我的目标变量具有类似图像的形状。

标签： python numpy deep-learning cntk

【解决方案1】：

您可以创建将多个图像反序列化器组合到一个源中的复合阅读器。首先，您需要创建两个地图文件（带有虚拟标签）。一个将包含所有输入图像，另一个将包含相应的目标图像。下面的代码是一个最小的实现，假设文件被称为map1.txt 和map2.txt

import numpy as np
import cntk as C
import cntk.io.transforms as xforms 
import sys

def create_reader(map_file1, map_file2):
    transforms = [xforms.scale(width=224, height=224, channels=3, interpolations='linear')]
    source1 = C.io.ImageDeserializer(map_file1, C.io.StreamDefs(
        source_image = C.io.StreamDef(field='image', transforms=transforms)))
    source2 = C.io.ImageDeserializer(map_file2, C.io.StreamDefs(
        target_image = C.io.StreamDef(field='image', transforms=transforms)))
    return C.io.MinibatchSource([source1, source2], max_samples=sys.maxsize, randomize=True)

x = C.input_variable((3,224,224))
y = C.input_variable((3,224,224))
# world's simplest model
model = C.layers.Convolution((3,3),3, pad=True)
z = model(x)
loss = C.squared_error(z, y)

reader = create_reader("map1.txt", "map2.txt")
trainer = C.Trainer(z, loss, C.sgd(z.parameters, C.learning_rate_schedule(.00001, C.UnitType.minibatch)))

minibatch_size = 2

input_map={
    x: reader.streams.source_image,
    y: reader.streams.target_image
}

for i in range(30):
    data=reader.next_minibatch(minibatch_size, input_map=input_map)
    print(data)
    trainer.train_minibatch(data)

【讨论】：