使用python opencv实时接收webRTC视频流

Question

嗨， 我正在创建一个管道，我需要从相机访问数据并在其中执行一些opencv算法。我可以使用webRTC从源发送视频。 https://lostechies.com/derickbailey/2014/03/13/build-a-local-webcam-with-webrtc-in-less-than-20-lines/

但是，我需要帮助的是如何在python中接收视频流并进行处理。如何从webRTC流访问视频源到python后端？

这是运行的javascript代码。

(function(){
  var mediaOptions = { audio: false, video: true };

  if (!navigator.getUserMedia) {
      navigator.getUserMedia = navigator.getUserMedia || navigator.webkitGetUserMedia || navigator.mozGetUserMedia || navigator.msGetUserMedia;
  }

  if (!navigator.getUserMedia){
    return alert('getUserMedia not supported in this browser.');
  }

  navigator.getUserMedia(mediaOptions, success, function(e) {
    console.log(e);
  });

  function success(stream){
    var video = document.querySelector("#player");
    video.src = window.URL.createObjectURL(stream);
  }
})();

我需要帮助才能使用python从这个java脚本接收视频。

Answer 1

我是aiortc的作者。您是否查看过server示例，因为它说明了如何使用OpenCV处理视频？

https://github.com/jlaine/aiortc/tree/master/examples/server

Answer 2

https://webrtchacks.com/webrtc-cv-tensorflow/展示了一个相当深入的WebRTC + tensorflow教程。您可以轻松地替换opencv的tensorflow。这会从网络摄像头捕获一个帧，并每隔一段时间使用HTTP发送一次。如果你想比实时更实时，你必须在服务器上使用WebRTC，例如使用https://github.com/jlaine/aiortc