一、实验
采用keras的multi_gpu_model函数注释中的示例代码
经过实验发现，当batch_size=4的时候，2GPU速度为30s/epoch，4GPU速度为36s/epoch。速度反而下降了
当batch_size=32时，2GPU速度为10s/epoch，4GPU速度为8s/epoch，速度1.25倍
当batch_size=64时，2GPU速度为9s/epoch，4GPU速度为6s/epoch，速度1.5倍
二、结论
多GPU模式存在通信开销，batch_size越大，GPU计算开销所占比例越大，通信开销所占比例越小，多GPU的速度提高越接近准线性