在将音频预处理为合适的特征之后，可以使用隐马尔可夫模型来处理简单的音频分割问题。语音的典型特征是声级、声音活动/浊音。为了获得词级分割（与句子相反），这需要具有相当高的时间分辨率。不幸的是，pyWebRTCVAD 没有可调整的时间平滑，因此它可能不适合该任务。
在您的音频样本中，有一位电台主持人用德语说得很快。
查看您标记的单词边界的声级很明显，在某些单词之间，声级并没有真正下降。这就排除了一个简单的声级分割模型。
总而言之，对一般语音信号获得良好的结果可能非常困难。但幸运的是，这已经得到了很好的研究，并且有现成的解决方案可用。
这些通常使用声学模型（单词和音素的发音方式）以及语言模型（可能的单词顺序），通过数小时的音频学习。
使用语音识别库进行分词
所有这些功能都包含在语音识别框架中，并且许多功能允许获得带有时间的单词级输出。下面是一些使用 Vosk 的工作代码。
Vosk 的替代品是PocketSphinx。或者使用来自 Google Cloud、Amazon Web Services、Azure Cloud 等的在线语音识别服务。
import sys
import os
import subprocess
import json
import math
# tested with VOSK 0.3.15
import vosk
import librosa
import numpy
import pandas
def extract_words(res):
jres = json.loads(res)
if not 'result' in jres:
return []
words = jres['result']
return words
def transcribe_words(recognizer, bytes):
results = []
chunk_size = 4000
for chunk_no in range(math.ceil(len(bytes)/chunk_size)):
start = chunk_no*chunk_size
end = min(len(bytes), (chunk_no+1)*chunk_size)
data = bytes[start:end]
if recognizer.AcceptWaveform(data):
words = extract_words(recognizer.Result())
results += words
results += extract_words(recognizer.FinalResult())
return results
def main():
vosk.SetLogLevel(-1)
audio_path = sys.argv[1]
out_path = sys.argv[2]
model_path = 'vosk-model-small-de-0.15'
sample_rate = 16000
audio, sr = librosa.load(audio_path, sr=16000)
# convert to 16bit signed PCM, as expected by VOSK
int16 = numpy.int16(audio * 32768).tobytes()
# XXX: Model must be downloaded from https://alphacephei.com/vosk/models
# https://alphacephei.com/vosk/models/vosk-model-small-de-0.15.zip
if not os.path.exists(model_path):
raise ValueError(f"Could not find VOSK model at {model_path}")
model = vosk.Model(model_path)
recognizer = vosk.KaldiRecognizer(model, sample_rate)
res = transcribe_words(recognizer, int16)
df = pandas.DataFrame.from_records(res)
df = df.sort_values('start')
df.to_csv(out_path, index=False)
print('Word segments saved to', out_path)
if __name__ == '__main__':
main()
使用 .WAV 文件和输出文件的路径运行程序。
python vosk_words.py attached_problem/main.wav out.csv
脚本以 CSV 格式输出单词及其时间。然后可以使用这些时间来分割音频文件。这是示例输出：
conf,end,start,word
0.618949,1.11,0.84,also
1.0,1.32,1.116314,eine
1.0,1.59,1.32,woche
0.411941,1.77,1.59,des
将输出（底部）与您提供的示例文件（顶部）进行比较，看起来还不错。
它实际上在 42.25 秒时选择了一个您的注释未包含的单词，“und”。