录制开始时有轻微延迟，并且结束时会被 python-sounddevice 中的低电平流切断

Question

我正在尝试创建一个低级流，它允许我输出 WAVE 文件，同时在同一音频设备上录制输入。我的音频设备已设置为通过输出播放输出 WAVE 文件，该文件通过系统运行，然后进入设备上的输入。使用 python-sounddevice 中的便捷函数 playrec() 可以让我完整记录输入中看到的内容，但是，使用较低级别的 Stream() 函数的代码中，记录开始较晚，并且音频的最后一点是没有记录。我想使用较低级别的 Stream() 函数的原因是测试与 playrec() 相比是否可以减少该系统中的总体延迟。我尝试更改块大小和缓冲区大小但无济于事。

def callback(indata, outdata, frames, time, status):
  assert frames == args.blocksize
  qr.put(indata.copy())
  rec_file.write(qr.get())
  if status.output_underflow:
    print('Output underflow: increase blocksize?', file=sys.stderr)
    raise sd.CallbackAbort
  assert not status
  try:
    data = q.get_nowait()
  except queue.Empty:
    print('Buffer is empty: increase buffersize?', file=sys.stderr)
    raise sd.CallbackAbort
  if data.size < outdata.size:
    outdata[:len(data),0] = data
    outdata[len(data):] = 0
    raise sd.CallbackStop
  else:
    outdata[:,0] = data

try:
    with sf.SoundFile(args.filename) as f:
        #queue for recording input
        qr = queue.Queue(maxsize=args.buffersize)
        #queue for output WAVE file
        q = queue.Queue(maxsize=args.buffersize)
        event = threading.Event()
        for _ in range(args.buffersize):
            data = f.read(frames=args.blocksize, dtype='float32')
            if data.size == 0:
                break
            q.put_nowait(data)  # Pre-fill queue
        stream = sd.Stream(   
            samplerate=f.samplerate, blocksize=args.blocksize,
            dtype='float32', callback=callback, finished_callback=event.set,
            latency='low')
        with sf.SoundFile('output'+str(itr)+'.wav', mode='x', samplerate=f.samplerate,
                          channels=1) as rec_file:
            with stream:
                timeout = args.blocksize * args.buffersize / f.samplerate
                while data.size != 0:
                    data = f.read(args.blocksize, dtype='float32')
                    q.put(data, timeout=timeout)
                event.wait()  # Wait until playback is finished

Answer 1

如果您不介意一次性将整个输入和输出信号存储在内存中，则可以随意使用

sd.playrec()

。您将无法使用

sd.Stream

来减少您自己的代码的延迟。

sd.playrec()

内部使用

sd.Stream

并且不会增加延迟。

如果您想减少延迟，应尝试对

blocksize

和/或

latency

参数使用较低的值。但请注意，较低的值会更加不稳定，并可能导致播放/录制中出现故障。

---

如果您不想一次性将所有数据存储在内存中，则不能使用

sd.playrec()

，可以尝试使用

sd.Stream

，如上面的示例所示。

但是请注意，这两个相邻行中的队列充其量是无用的：

qr.put(indata.copy())
rec_file.write(qr.get())

你不妨写：

rec_file.write(indata)

但请不要！

写入文件可能会阻塞音频回调太长时间，从而导致音频丢失。

因此，使用队列是一个好主意（并且使用

indata.copy()

也是一个好主意）。

但是你应该只write到回调函数中的

qr

。 阅读应该发生在不同的时间点。

您应该在qr.get_nowait()之前或之后的

while

循环中执行

非阻塞

q.put(...)

并将数据写入那里的文件。

在回调函数中，您不应该执行 blocking

qr.put(indata.copy())

，因为这可能会阻止您的音频回调，从而导致退出。 相反，您应该使用

qr.put_nowait()

。为了避免队列已满，您应该从

maxsize

中删除

qr

参数（但将其保留在另一个队列上！）。

最后，离开

with stream

上下文管理器后，

qr

中可能仍有尚未写入文件的数据。

因此，在流关闭之后，您应该确保清空“记录队列”并将剩余的块写入文件。

Answer 2

我正在使用 sd.playrec() 来确定遇到相同行为的传递函数： 播放开始较晚，停止较早，因此播放文件的最后约 0.2 秒被切断。

我可以使用任何标志或 kwarg 来避免这种行为吗？ 我还尝试分别使用 sd.rec() 和 sd.play() 但这根本不起作用。