如何使用 sounddevice Stream 类返回的 NumPy 数组来执行额外的处理？

Question

我正在使用 python 库 sounddevice 进行一些音频处理。当我使用 Stream 类将从输入设备（麦克风）收集的输入数据传递到输出时，回调函数有一个表示声音数据的 NumPy 数组：

def callback(indata, outdata, frames, time, status):
    outdata[:] = indata

indata 是一个包含浮点数数组的 NumPy 数组。这些花车代表什么？如何对这些数据执行时间拉伸或音高转换？

Answer 1

首先，警告：如果您想要高效可靠的实时音频处理，Python 可能不是一个很好的选择（因为它是一种解释性语言，它使用垃圾收集，当然还有臭名昭著的 GIL）。

如果你还是想使用 Python，有几个库可以用于实时音频信号处理； pyo 和 LibROSA 浮现在脑海中，更多信息可以在 PythonInMusic wiki page 找到。

现在回答您的实际问题：indata 中的浮点值（默认为 float32）是代表声压的幅度值。 如果有帮助，您也可以将其视为电压。

请注意，来自声卡的值仅限于从-1.0 到+1.0 的范围内。当您将输出信号写入outdata 时，您必须注意它们也被限制在此范围内，否则您会听到难看的失真。

indata 和 outdata 数组是二维的，其中的列代表音频通道。每一行代表一个时间实例。

您可能还想阅读我的小page about creating simple audio signals with Python。

时间拉伸/音高转换的实际算法在这里是题外话，如果您需要帮助，可以在https://dsp.stackexchange.com/ 询问。