如何将实时音频流端点连接到直线语音端点？

Question

我正在尝试将生成连续音频流的实时音频端点与最终与我的 Azure bot api 交互的 Direct Line Speech (DLS) 端点连接起来。

我有一个 websocket API，可以连续接收二进制格式的音频流，这就是我打算将它转发到 DLS 端点，以便与我的机器人连续使用 Speech2Text。

根据反馈和answer here，我已经能够将我的 Direct Line 语音端点与实时流连接起来。

我尝试了一个示例 wav 文件，该文件被 DLS 正确转录，并且我的机器人能够正确检索文本以对其进行操作。

我使用了ListenOnce() API 并且正在使用PushAudioInputStream 方法将音频流推送到DLS 语音端点。

下面的代码是 ListenOnce() 方法的内部代码

// Create a push stream
using (var pushStream = AudioInputStream.CreatePushStream())
{
    using (var audioInput = AudioConfig.FromStreamInput(pushStream))
    {
        // Create a new Dialog Service Connector
        this.connector = new DialogServiceConnector(dialogServiceConfig, audioInput);
        // ... also subscribe to events for this.connector

        // Open a connection to Direct Line Speech channel
        this.connector.ConnectAsync();
        Debug.WriteLine("Connecting to DLS");

        pushStream.Write(dataBuffer, dataBuffer.Length);

        try
        {
            this.connector.ListenOnceAsync();
            System.Diagnostics.Debug.WriteLine("Started ListenOnceAsync");
        }
    }
}

上面代码中的dataBuffer是我在websocket上收到的二进制数据的“块”。

const int maxMessageSize = 1024 * 4; // 4 bytes
var dataBuffer = new byte[maxMessageSize];

while (webSocket.State == WebSocketState.Open)
{
    var result = await webSocket.ReceiveAsync(new ArraySegment<byte>(dataBuffer), CancellationToken.None);
    if (result.MessageType == WebSocketMessageType.Close)
    {
        Trace.WriteLine($"Received websocket close message: {result.CloseStatus.Value}, {result.CloseStatusDescription}");
        await webSocket.CloseAsync(result.CloseStatus.Value, result.CloseStatusDescription, CancellationToken.None);
    }
    else if (result.MessageType == WebSocketMessageType.Text)
    {
        var message = Encoding.UTF8.GetString(dataBuffer);
        Trace.WriteLine($"Received websocket text message: {message}");
    }
    else // binary
    {
        Trace.WriteLine("Received websocket binary message");
        ListenOnce(dataBuffer); //calls the above 
    }
}

但是上面的代码不起作用。我相信我对这种方法有几个问题/疑问 -

1. 我认为我没有正确地将数据分块到 Direct Line Speech 以确保它接收完整的音频以进行正确的 S2T 转换。
2. 我知道 DLS API 支持ListenOnceAsync()，但不确定它是否支持 ASR（它知道对方的发言者何时停止讲话）
3. 我能否只获取 Direct Line Speech 端点的 websocket url 并假设 DLS 正确使用了直接 websocket 流？

Answer 1

我认为我没有正确地将数据分块到 Direct Line Speech 以确保它接收完整的音频以进行正确的 S2T 转换。

DialogServiceConnector.ListenOnceAsync 将一直监听到流关闭（或检测到足够的静音）。您不会关闭您的流，除非您在 using 块的末尾处理它。您可以等待ListenOnceAsync，但您必须确保先关闭流。如果您不等待ListenOnceAsync，那么您可以随时关闭流，但您可能应该在完成写入流后立即执行此操作，并且您必须确保不丢弃流（或ListenOnceAsync 之前的配置）有机会完成。

您还想确保ListenOnceAsync 获得完整的话语。如果您一次只接收 4 个字节，那么这肯定不是完整的话语。如果您想将块保持在 4 个字节，那么在该循环的多次迭代期间保持 ListenOnceAsync 运行可能是个好主意，而不是每获得 4 个字节就一遍又一遍地调用它。

我知道 DLS API 支持 ListenOnceAsync() 但不确定这是否支持 ASR（它知道对方的说话者何时停止说话）

我认为您必须确定扬声器何时停止在客户端说话，然后从您的 WebSocket 收到一条消息，指示您应该关闭 ListenOnceAsync 的音频流。

看起来ListenOnceAsync 确实支持 ASR。

我可以只获取 Direct Line Speech 端点的 websocket url 并假设 DLS 正确使用直接 websocket 流吗？

你可以试试，但我自己不会这么认为。 Direct Line Speech 仍处于预览阶段，我不希望兼容性变得容易。