caffe多个gpu数据合并到一起

    当多GPU树形拓扑构建完毕，数据预缓冲到GPU显存，开始进入多GPU并行训练。Caffe的Solver提供了两个用于多GPU训练的回调函数：on_start()和on_gradient_ready()。如图4-5所示，on_start函数用于将参数分发拷贝到每一个GPU中，on_gradeint_ready函数用于归约反向传播的梯度值。