AVCaptureSession视频稳定滞后

Question

以前我在我的AVCaptureMovieFileOutput上添加了AVCaptureSession并启用了电影preferredVideoStabilizationMode，获得了很好的预期效果。

我刚刚切换到AVCaptureVideoDataOutput并且电影稳定导致非常明显的延迟 - 在图像预览更新之前大约整整一秒延迟。

建立：

//  Video data output
let outputSettings: [String: Any] = [kCVPixelBufferPixelFormatTypeKey as String: kCVPixelFormatType_32BGRA]
videoDataOutput = AVCaptureVideoDataOutput()
videoDataOutput?.videoSettings = outputSettings
let videoSessionQueue = DispatchQueue(label: "video_capture_session_queue")
videoDataOutput?.setSampleBufferDelegate(self, queue: videoSessionQueue)
videoDataOutput?.alwaysDiscardsLateVideoFrames = true

//  Audio data output
let audioDataOutput = AVCaptureAudioDataOutput()
let audioSessionQueue = DispatchQueue(label: "audio_capture_session_queue")
audioDataOutput.setSampleBufferDelegate(self, queue: audioSessionQueue)

//  Configure session
captureSession.beginConfiguration()

let videoInput = try AVCaptureDeviceInput(device: currentCameraDevice)
captureSession.addInput(videoInput)
captureSession.addOutput(videoDataOutput!)

if let videoDataOutputConnection = videoDataOutput?.connection(with: .video), videoDataOutputConnection.isVideoStabilizationSupported {
    videoDataOutputConnection.preferredVideoStabilizationMode = .cinematic
}

if let audioInput = AVCaptureDevice.default(for: .audio) {
    try captureSession.addInput(AVCaptureDeviceInput(device: audioInput))
    captureSession.addOutput(audioDataOutput)
}

captureSession.commitConfiguration()

captureSession.startRunning()

有没有人有任何见解或解决方案？提前致谢。

Answer 1

对于任何感兴趣的人，这是我在经过几天的挖掘后学到的东西：

渲染到非AVCaptureVideoPreviewLayer时无法避免延迟 - 这实际上是您运行AVCaptureVideoDataOutput以处理单个帧时的任何时间（对于CI和Metal设置都是如此）。

稳定模式.inematic导致最显着的滞后 - 约1秒。切换到.standard可将其降低至约1/10秒，并且产生比完全没有稳定性更好的结果。