使用node.js中的socket.io通过webrtc广播实时音频

Question

我试图通过getUserMedia（）使用webrtc获取音频并使用socket.io将其发送到服务器（socket.io支持音频，视频，二进制数据），然后服务器将其广播到所有连接的客户端。问题是当流到达连接的客户端时，它将转换为JSON对象而不是媒体流对象。所以我无法发送音频我也尝试过socket.io-stream模块，但我不是成功的。你能帮我正确地捕获音频流并将其发送给所有连接的客户端。

这是发送数据的客户端代码

navigator.getUserMedia({audio: true, video: false}, function(stream) {
  video.src = window.URL.createObjectURL(stream);
  webcamstream = stream;
  media = stream; /// here the datatype of media is mediaStream object
  socket.emit("sendaudio", media);
}, function(e){
  console.log(error);
});

在接收客户端时，代码如下

socket.on('receiveaudio' , function(media)
{
   console.log(media); //but here i am receiving it as a simple object
   other.src= media;
});

Answer 1

我从here复制了我的答案。

此示例显示如何使用MediaRecorder上传音频，然后使用socket.io转发它。此代码只会在您调用mediaRecorder.stop()后广播。你可以选择在ondataavailable内广播。如果你这样做，你可能想要将timeslice传递给mediaRecorder.start()，这样它就不会经常触发ondataavailable。

这个解决方案并不真实，但我认为它会帮助那些回来找到这个问题的人。

客户代码

var constraints = { audio: true };
navigator.mediaDevices.getUserMedia(constraints).then(function(mediaStream) {
    var mediaRecorder = new MediaRecorder(mediaStream);
    mediaRecorder.onstart = function(e) {
        this.chunks = [];
    };
    mediaRecorder.ondataavailable = function(e) {
        this.chunks.push(e.data);
    };
    mediaRecorder.onstop = function(e) {
        var blob = new Blob(this.chunks, { 'type' : 'audio/ogg; codecs=opus' });
        socket.emit('radio', blob);
    };

    // Start recording
    mediaRecorder.start();

    // Stop recording after 5 seconds and broadcast it to server
    setTimeout(function() {
        mediaRecorder.stop()
    }, 5000);
});

// When the client receives a voice message it will play the sound
socket.on('voice', function(arrayBuffer) {
    var blob = new Blob([arrayBuffer], { 'type' : 'audio/ogg; codecs=opus' });
    var audio = document.createElement('audio');
    audio.src = window.URL.createObjectURL(blob);
    audio.play();
});

服务器代码

socket.on('radio', function(blob) {
    // can choose to broadcast it to whoever you want
    socket.broadcast.emit('voice', blob);
});