分布式数据并行 (DDP) 批量大小答案

【问题标题】：Distributed Data Parallel (DDP) Batch size分布式数据并行 (DDP) 批量大小
【发布时间】：2022-12-18 22:12:43
【问题描述】：

假设，我在 DDP 设置中使用 2 个 GPU。

所以，如果我打算在单个 gpu 上运行实验时使用 16 作为批量大小，

如果使用 2 个带 DDP 设置的 gpus，我应该将批量大小设为 8，还是将批量大小设为 16？

16会自动分为8和8吗？

谢谢 -！

【问题讨论】：

标签： pytorch ddp

【解决方案1】：

如here所述：

如果您使用 16 作为批量大小，它将在两个 GPU 之间自动分配。

【讨论】：

【解决方案2】：

不，它不会自动拆分。当你在DDP模式下设置batch_size=8时，每个GPU都会收到带有batch_size=8的数据集，所以全局batch_size=16

【讨论】：