从谷歌语音 api 结果中检测流畅度

Question

我正在尝试使用 google Speech (to text) API 来确定说话者的流利程度。

到目前为止，我发现 API (betav1) 可以显示说话所需的时间（它的开始时间和结束时间）。

来自维基百科，

口语流利度或口语流利度是生产的衡量标准 和接收语音，作为一个流利的演讲者必须能够 在谈话中理解和回应他人。口语是 通常以看似不流利的品质为特征（例如， 碎片，停顿，错误的开始，犹豫，重复）因为 “任务压力”。因此可以理解一个人的口语流利程度 在感知方面，以及这些言语品质是否可以 被认为是预期的和自然的（即流利的）或不寻常的和 有问题（即不流利）

我可以看到我们可以从单词的 API 中获取停顿、重复等。但是相对测量可能很困难，因为我找不到任何标准值。

是否有任何适当的方法来实现这一目标？任何人都可以提供指导来检测谷歌 API（或使用某种开源语音库或外部软件的任何其他有效方法）的流畅度

如果我完全走错了方向也没关系，只需要一个适当的指导来实现该功能。

Answer 1

这实际上取决于您拥有的数据。我不熟悉谷歌文本到语音 API。但是，根据数据的结构，有一些替代选项可以实现您想要的。

1. 如果数据是结构化的（即单词和与这些单词的属性相对应的值的表），您可以运行分类（或回归）算法，例如随机森林或多元逻辑回归来估计流畅度（连续量表）或流利程度（例如非常不流利、有些不流利、正常、有点流利、非常流利）。

2. 如果数据是非结构化的（例如，短语的记录） - 那么您可以尝试使用 keras/tensorflow 中的神经网络，旨在将不同的短语分类为流利或不流利。