为什么我的 Pytorch 张量大小在某些批次后会发生变化并包含 NaN？答案

【问题标题】：Why does my Pytorch tensor size change and contain NaNs after some batches?为什么我的 Pytorch 张量大小在某些批次后会发生变化并包含 NaN？
【发布时间】：2021-06-17 05:33:42
【问题描述】：

我正在训练一个 Pytorch 模型。一段时间后，即使在 shuffle 上，模型除了一些有限的 tensorrows 之外，只包含 NaN 值：

tensor([[[    nan,     nan,     nan,  ...,     nan,     nan,     nan],
         [    nan,     nan,     nan,  ...,     nan,     nan,     nan],
         [    nan,     nan,     nan,  ...,     nan,     nan,     nan],
         ...,
         [ 1.4641,  0.0360, -1.1528,  ..., -2.3592, -2.6310,  6.3893],
         [    nan,     nan,     nan,  ...,     nan,     nan,     nan],
         [    nan,     nan,     nan,  ...,     nan,     nan,     nan]]],
       device='cuda:0', grad_fn=<AddBackward0>)

detect_anomaly 函数返回：

  File "TestDownload.py", line 701, in <module>
    main(learning_rate, batch_size, epochs, experiment)
  File "TestDownload.py", line 635, in main
    train(model, device, train_loader, criterion, optimizer, scheduler, epoch, iter_meter, experiment)
  File "TestDownload.py", line 486, in train
    output = F.log_softmax(output, dim=2)
  File "\lib\site-packages\torch\nn\functional.py", line 1672, in log_softmax
    ret = input.log_softmax(dim)
 (function _print_stack) Traceback (most recent call last):
  File "TestDownload.py", line 701, in <module>
    main(learning_rate, batch_size, epochs, experiment)
  File "TestDownload.py", line 635, in main
    train(model, device, train_loader, criterion, optimizer, scheduler, epoch, iter_meter, experiment)
  File "TestDownload.py", line 490, in train
    loss.backward()
  File "\lib\site-packages\comet_ml\monkey_patching.py", line 317, in wrapper
    return_value = original(*args, **kwargs)
  File "\lib\site-packages\torch\tensor.py", line 245, in backward
    torch.autograd.backward(self, gradient, retain_graph, create_graph, inputs=inputs)
  File "\lib\site-packages\torch\autograd\__init__.py", line 145, in backward
    Variable._execution_engine.run_backward(
RuntimeError: Function 'LogSoftmaxBackward' returned nan values in its 0th output.

参考下一行output = F.log_softmax(output, dim=2)

如果我只使用 try-except 执行此操作，则会显示另一个错误：（当损失函数在包含 NaN 的张量上运行时）

[W ..\torch\csrc\autograd\python_anomaly_mode.cpp:104] Warning: Error detected in CtcLossBackward. Traceback of forward call that caused the error:
  File "TestDownload.py", line 734, in <module>
    # In[ ]:
  File "TestDownload.py", line 667, in main
    test(model, device, test_loader, criterion, epoch, iter_meter, experiment)
  File "TestDownload.py", line 517, in train
    loss.backward()
  File "\lib\site-packages\torch\nn\modules\module.py", line 889, in _call_impl
    result = self.forward(*input, **kwargs)
  File "\lib\site-packages\torch\nn\modules\loss.py", line 1590, in forward
    return F.ctc_loss(log_probs, targets, input_lengths, target_lengths, self.blank, self.reduction,
  File "\lib\site-packages\torch\nn\functional.py", line 2307, in ctc_loss
    return torch.ctc_loss(
 (function _print_stack)
Traceback (most recent call last):
  File "TestDownload.py", line 518, in train
  File "\lib\site-packages\comet_ml\monkey_patching.py", line 317, in wrapper
    return_value = original(*args, **kwargs)
  File "\lib\site-packages\torch\tensor.py", line 245, in backward
    torch.autograd.backward(self, gradient, retain_graph, create_graph, inputs=inputs)
  File "\lib\site-packages\torch\autograd\__init__.py", line 145, in backward
    Variable._execution_engine.run_backward(
RuntimeError: Function 'CtcLossBackward' returned nan values in its 0th output.

一个正常的张量应该是这样的：

tensor([[[-3.3904, -3.4340, -3.3703,  ..., -3.3613, -3.5098, -3.4344]],

        [[-3.3760, -3.2948, -3.2673,  ..., -3.4039, -3.3827, -3.3919]],

        [[-3.3857, -3.3358, -3.3901,  ..., -3.4686, -3.4749, -3.3826]],

        ...,

        [[-3.3568, -3.3502, -3.4416,  ..., -3.4463, -3.4921, -3.3769]],

        [[-3.4379, -3.3508, -3.3610,  ..., -3.3707, -3.4030, -3.4244]],

        [[-3.3919, -3.4513, -3.3565,  ..., -3.2714, -3.3984, -3.3643]]],
       device='cuda:0', grad_fn=<TransposeBackward0>)

如果是导入的，请注意双括号。

代码：

for batch_idx, _data in enumerate(train_loader):
    spectrograms, labels, input_lengths, label_lengths = _data
    spectrograms, labels = spectrograms.to(device), labels.to(device)
    optimizer.zero_grad()

    output = model(spectrograms)
    output = F.log_softmax(output, dim=2)
    output = output.transpose(0, 1)  # (time, batch, n_class) # X, 1, 29
    loss = criterion(output, labels, input_lengths, label_lengths)
    loss.backward()
    optimizer.step()
    scheduler.step()
    iter_meter.step()

此外，我尝试使用更大的批处理大小（当前批处理大小：1，更大的批处理大小：6）运行它，并且它运行没有错误，直到出现此错误的第一个 epoch 的 40%。

Cuda 内存不足

另外，我尝试标准化数据torchaudio.transforms.MelSpectrogram(sample_rate=16000, n_mels=128, normalized=True)

将学习率从 5e-4 降低到 5e-5 也无济于事。

附加信息：我的数据集包含近 300000 个 .wav 文件，并且在第一个 epoch 的 3-10% 运行时出现错误。

感谢任何提示，我很乐意提交更多信息。

【问题讨论】：

您好，您发布的 4 行代码不足以提供帮助，请阅读 stackoverflow.com/help/minimal-reproducible-example，并添加整个堆栈跟踪，而不仅仅是最后一个条目。最后，NaN 和 cuda-oom 问题很可能是您代码中的两个不同问题
你说得对，但我不知道还能显示什么。由于它是一种机器学习模型，因此不容易重现。我从 assemblyai 得到代码，这里是 google colab。我将编辑我的问题并添加整个堆栈跟踪。
对于内存不足，您可以在模型训练时运行 nvidia-smi -l 1 以监控 gpu 内存使用情况。如果它随时间线性增加，则说明您的代码存在问题。如果没有，你只需要调整你的batch_size。对于 NaN 问题，我确实需要查看模型，但首先尝试略读它。制作尽可能小的模型来重现您的错误，逐层删除
感谢您的代码。我跑过去查看第 1000 批和第 10000 批之间的任何差异，但没有。我尝试以不同的方式运行它，如果输出包含 NaN，则不使用 continue 语句，并得到 RuntimeError: Function 'CtcLossBackward' returned nan values in its 0th output.（我编辑了整个堆栈跟踪的问题并添加了更多代码）。所以我想如果我的输出包含 NaN，我不应该使用它。我还测试了输入是否有问题，但如果我只是跳过第一批直到第 15007 个（错误点）它可以正常工作，直到稍后出现相同的错误。
您是否检查过您的网络中从未输入过错误的输入（即带有 NaN 的批次）？也许其中一个以某种方式损坏了

标签： python deep-learning pytorch speech-recognition nan

【解决方案1】：

错误的来源可能是损坏的输入或标签，其中包含 inf 值的 NaN。您可以使用

检查张量中是否没有 NaN 值

torch.isnan(tensor).any()

或者张量中的所有值都不是inf 也不是NaN

torch.isfinite(tensor).all()

【讨论】：