谷歌语音 + 自然语言管道

Question

我正在尝试执行以下操作：

我想创建以下管道（将在谷歌云上运行）

• 我有一个设备：树莓派带麦克风
• 我将音频从树莓派发送到谷歌（流式传输：实时），
• 转录为文本（Google Cloud Speech）
• 文本被分析（Google Cloud Natural Language）
• 我做了一些后期处理
• （处理的）结果返回给树莓派

我知道我可以做语音识别请求，然后将 API 的结果直接发送到自然语言等

但我想知道这样的管道是否可行。 我尝试使用 Google DataFlow 和 Google App Engine，但我找不到制作方法这种管道与他们。

谢谢

Answer 1

如果您只有一台设备产生语音输入，这样的简单解决方案就足够了（将图像替换为音频，将翻译/视觉 api 替换为语音/自然语言 api）：

云存储可以触发云功能，而云功能又可以使用云发布/订阅来触发其他云功能。

详情请参阅link。

Answer 2

我认为 Google DataFlow 不是您尝试构建的管道的正确选择，主要是因为您没有尝试构建分析管道。我认为它看起来像link here 并转到“无服务器物联网后端”部分。使用 Cloud Function 对所有处理进行流水线处理，然后将结果返回到您的设备。另请查看示例here。 虽然我的回答很笼统，但希望能给你一些尝试的方向。

Answer 3

云函数是要走的路。这是一个使用 Cloud Vision API、GMail API、PubSub 和 CloudFunctions 构建智能 GMail 标签服务的演示应用程序。

架构图

代码链接：https://github.com/GoogleCloudPlatform/cloud-functions-gmail-nodejs

博文链接：https://cloud.google.com/blog/products/application-development/adding-custom-intelligence-to-gmail-with-serverless-on-gcp

在您的情况下，架构流程可能如下所示
1. 将音频从 Raspberry Pi 发送到 Cloud Storage 存储桶
2. 使用 Cloud Function 监听 Cloud Storage 存储桶的变化 (Reference)
3. 触发从 Cloud Function 到 Cloud Speech API 的调用以转录音频
4. 再使用一个 Cloud Function 来触发对 NLP API 的调用
5. 做后处理，写入输出桶
6. 使用云函数监听输出桶并触发调用将输出发送回树莓派。