如何改进 Whisper 语音到文本

Question

虽然 Whisper 的转录非常准确，但总是存在行话 (GPT) 或不标准的拼写，导致转录存在缺陷（例如：“Dave Prior”是播客主持人，转录会将他的姓氏拼写为“Pryor”。）有一些方法可以改善转录吗？

Answer 1

改善 Whisper 转录服务的常用方法有以下三种：

1. 带有单词列表的提示 Whisper（最多 244 个标记）。 [1]
2. 使用 GPT 对笔录进行后处理，GPT 会被提升以修改笔录并提供单词列表（最多达到 GPT 的令牌限制）[2]
3. 通过在使用单词列表记录的音频文件上进行训练，对模型进行微调，以更好地理解您的口音和领域。 [3]

我建议上述顺序的难度越来越大。如果 Whisper 对您的口音或缩写词的发音方式有疑问，那么微调将是最好的解决方案。前两个选项很好，因为可以动态构建提示。