如何使用 CNN 和 PyTorch 处理音频分类的输入数据？答案

【问题标题】：How to process input data for audio classification using CNN with PyTorch?如何使用 CNN 和 PyTorch 处理音频分类的输入数据？
【发布时间】：2020-05-08 07:44:17
【问题描述】：

作为一名在 DSP 和 ML 领域工作的工程师学生，我正在从事一个音频分类项目，其输入是贝斯、键盘、吉他等乐器的短片（4 秒）(NSynth Dataset by the Magenta team at Google)。

想法是将所有短片（.wav 文件）转换为频谱图或 melspectrogram，然后应用 CNN 来训练模型。

但是，我的问题是，由于整个数据集很大（大约 23GB），我想知道是否应该先将所有音频文件转换为 PNG 等图像，然后再应用 CNN。我觉得这可能需要很多时间，而且它会使我的输入数据的存储空间增加一倍，因为现在它是音频 + 图像（可能高达 70GB）。

因此，我想知道这里是否有任何解决方法可以加快这个过程。

提前致谢。

【问题讨论】：

标签： python machine-learning classification pytorch signal-processing

【解决方案1】：

预处理是完全值得的。您很可能最终会运行多个实验，然后您的网络才能按您希望的方式工作，并且您不想每次都浪费时间对特征进行预处理，您想更改一些超参数。

我宁愿直接保存 PyTorch 张量（torch.save 使用 Python 的标准酸洗协议）或 NumPy 数组（numpy.savez 将序列化数组保存到 zip 文件中），而不是使用 PNG。如果担心磁盘空间，可以考虑numpy.save_compressed。

【讨论】：