是否可以“按您所说”转录 Twilio 通话？

Question

有谁知道 Twilio 是否可以在通话期间基于一种音频标志或模式（例如静音）创建多个音频记录。这样您就可以在每个语音部分结束时触发回调，以在通话期间生成文本。

谢谢...

Answer 1

这里是 Twilio 布道者。

因此，您可以使用

timeout 动词

 上的 

<Record> 属性来获得简短的“突发”语音文本，但这可能意味着您在呼叫者说出单词时超时。所以你只能得到一半！这可能会导致很难理解所说的内容，我个人不会使用这种方法。

您可以使用

finishOnKey

属性通过按键（DTMF 音）结束录音，这可能会满足您的需求。

您目前无法获得实时或近乎实时的转录。您将很快收到转录，但我们仅支持超时和按键来结束录音并开始转录。

希望这有帮助！

Answer 2

要使用 Twilio 进行实时转录，您需要使用带有 Twilio Media Streams 的第三方语音转文本，它还支持流式/无限语音到文本识别，例如 Google Cloud Speech To Text。不幸的是，我认为没有本地 Twilio 动词或动作可以进行实时语音到文本/实时转录。也许你可以在 iOS 上运行一些东西，但我认为让后端服务器处理这可能会更好，并且将来更具可扩展性。

在较高层面上，您需要执行以下操作：

• 创建一个 WebSocket 端点来摄取 Twilio Media Streams 以获取传入的音频字节有效负载。这些有效负载是电话语音的 Base 64 编码
• 将媒体流发送到第三方语音文本提供商，例如 Google Cloud
• 将转录结果发布给最终用户（例如，通过 API 进行轮询，或者最好是像另一个 WebSocket 那样的实时连接）。

有几个在线指南介绍如何针对不同语言准确执行此操作：

• 使用 Java 进行实时 Twilio 转录
• 使用 Python 进行实时 Twilio 转录
• 使用 Node.js 进行实时 Twilio 转录