如何计算最佳批量大小

Question

有时我会遇到问题：

用形状分配张量时的OOM

e.q.

分配形状为 (1024, 100, 160) 的张量时的 OOM

1024 是我的批量大小，我不知道其余的是什么。如果我减少批量大小或模型中的神经元数量，它运行良好。

是否有一种通用的方法可以根据模型和 GPU 内存计算最佳批量大小，从而使程序不会崩溃？

简而言之：就我的模型而言，我想要尽可能大的批处理大小，这将适合我的 GPU 内存并且不会使程序崩溃。

Answer 1

来自 Goodfellow 等人最近的深度学习书籍，chapter 8：

小批量大小通常受以下因素影响：

• 较大的批次可以更准确地估计梯度，但 回报率低于线性。
• 多核架构通常是 极小批量未充分利用。这促使使用一些 绝对最小批量大小，低于该大小不会减少 是时候处理一个小批量了。
• 如果批处理中的所有示例都 并行处理（通常是这种情况），那么 内存随批次大小而变化。对于许多硬件设置，这是 批量大小的限制因素。
• 某些硬件实现 使用特定大小的数组获得更好的运行时间。尤其是使用的时候 GPU，通常使用 2 个批量大小来提供更好的运行时间。 2 个批量大小的典型功率范围为 32 到 256，有时为 16 正在尝试用于大型模型。
• 小批量可以提供 正则化效应（Wilson 和 Martinez，2003），可能是由于 他们添加到学习过程中的噪音。泛化错误通常是 最适合批量大小为 1。使用如此小的批量大小进行训练 可能需要一个小的学习率来保持稳定性，因为 梯度估计的高方差。总运行时间 由于需要采取更多步骤，因此可能非常高，两者 因为学习率降低并且需要更多的步骤 观察整个训练集。

这在实践中通常意味着“2 的幂，越大越好，前提是批次适合您的 (GPU) 内存”。

您可能还想参考 Stack Exchange 中的几个好帖子：

• Tradeoff batch size vs. number of iterations to train a neural network
• Selection of Mini-batch Size for Neural Network Regression
• How large should the batch size be for stochastic gradient descent?

请记住，Keskar 等人的论文。上面几篇文章引用的“On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima”已收到深度学习社区其他受人尊敬的研究人员的some objections。

希望这会有所帮助...

更新（2017 年 12 月）：

Yoshua Bengio & team 发表了一篇新论文，Three Factors Influencing Minima in SGD（2017 年 11 月）；值得一读的是，它报告了关于学习率和批量大小之间相互作用的新理论和实验结果。

更新（2021 年 3 月）：

有趣的是 2018 年的另一篇论文 Revisiting Small Batch Training for Deep Neural Networks（H/T 致 Nicolas Gervais），这与 越大越好 的建议相反；引用摘要：

在 m=2 和 m=32 之间的小批量大小始终获得最佳性能，这与最近提倡使用数千个小批量大小的工作形成鲜明对比。

Answer 2

您可以使用以下方法估算最大批量大小：

最大批量大小 = 可用 GPU 内存字节 / 4 /（张量大小 + 可训练参数）

Answer 3

使用 pytorchsummary (pip install) 或 keras (builtin) 提供的摘要。

例如

from torchsummary import summary
summary(model)
.....
.....
================================================================
Total params: 1,127,495
Trainable params: 1,127,495
Non-trainable params: 0
----------------------------------------------------------------
Input size (MB): 0.02
Forward/backward pass size (MB): 13.93
Params size (MB): 4.30
Estimated Total Size (MB): 18.25
----------------------------------------------------------------

您放入批处理中的每个实例都需要在内存中进行完整的向前/向后传递，您的模型只需要一次。人们似乎更喜欢 2 次方的批量大小，这可能是因为 gpu 上的自动布局优化。

在增加批量大小时不要忘记线性增加学习率。

假设我们手头有一台具有 16 GB 内存的 Tesla P100。

(16000 - model_size) / (forward_back_ward_size)
(16000 - 4.3) / 18.25 = 1148.29
rounded to powers of 2 results in batch size 1024

Answer 4

这是一个查找用于训练模型的批量大小的函数：

def FindBatchSize(model):
    """model: model architecture, that is yet to be trained"""
    import os, sys, psutil, gc, tensorflow, keras
    import numpy as np
    from keras import backend as K
    BatchFound= 16

    try:
        total_params= int(model.count_params());    GCPU= "CPU"
        #find whether gpu is available
        try:
            if K.tensorflow_backend._get_available_gpus()== []:
                GCPU= "CPU";    #CPU and Cuda9GPU
            else:
                GCPU= "GPU"
        except:
            from tensorflow.python.client import device_lib;    #Cuda8GPU
            def get_available_gpus():
                local_device_protos= device_lib.list_local_devices()
                return [x.name for x in local_device_protos if x.device_type == 'GPU']
            if "gpu" not in str(get_available_gpus()).lower():
                GCPU= "CPU"
            else:
                GCPU= "GPU"

        #decide batch size on the basis of GPU availability and model complexity
        if (GCPU== "GPU") and (os.cpu_count() >15) and (total_params <1000000):
            BatchFound= 64    
        if (os.cpu_count() <16) and (total_params <500000):
            BatchFound= 64  
        if (GCPU== "GPU") and (os.cpu_count() >15) and (total_params <2000000) and (total_params >=1000000):
            BatchFound= 32      
        if (GCPU== "GPU") and (os.cpu_count() >15) and (total_params >=2000000) and (total_params <10000000):
            BatchFound= 16  
        if (GCPU== "GPU") and (os.cpu_count() >15) and (total_params >=10000000):
            BatchFound= 8       
        if (os.cpu_count() <16) and (total_params >5000000):
            BatchFound= 8    
        if total_params >100000000:
            BatchFound= 1

    except:
        pass
    try:

        #find percentage of memory used
        memoryused= psutil.virtual_memory()
        memoryused= float(str(memoryused).replace(" ", "").split("percent=")[1].split(",")[0])
        if memoryused >75.0:
            BatchFound= 8
        if memoryused >85.0:
            BatchFound= 4
        if memoryused >90.0:
            BatchFound= 2
        if total_params >100000000:
            BatchFound= 1
        print("Batch Size:  "+ str(BatchFound));    gc.collect()
    except:
        pass

    memoryused= [];    total_params= [];    GCPU= "";
    del memoryused, total_params, GCPU;    gc.collect()
    return BatchFound

Answer 5

我遇到了类似的 GPU 内存错误，通过使用以下配置 tensorflow 会话解决了该错误：

# See https://www.tensorflow.org/tutorials/using_gpu#allowing_gpu_memory_growth
config = tf.ConfigProto()
config.gpu_options.allow_growth = True

见：google colaboratory `ResourceExhaustedError` with GPU