HTML5具有<video/>
元素,可从服务器下载视频,对其进行解码和渲染。通常,如果不是总是他们使用硬件加速解码(如果可用)。
是否可以访问解码功能?原因是我正在使用自定义流媒体协议,因此在客户端我编码了我需要解码和渲染的视频流。
遗憾的是,视频解码器的纯JavaScript实现不适用,因为它们无法提供足够的性能。我只对HVEC或h.264编解码器感兴趣。
是否可以访问解码功能?
很不幸的是,不行。我们只能访问处理流/源文件的高级API,这些API具有有限的影响,例如基于时间的位置,播放状态和各种事件。我们可以将画框作为原始RGB(A)从当前解码帧中绘制到画布上,但这就是它。
原因是我使用自定义流媒体协议,所以在客户端我编码了我需要解码和渲染的视频流
您没有描述此协议,因此我们只能猜测,但您可能能够构建浏览器兼容的流,视频元素可以使用Media Source Extensions。这使您可以在客户端中构建自适应和自定义流式处理解决方案。
遗憾的是,视频解码器的纯JavaScript实现不适用,因为它们无法提供足够的性能。
这不一定是真的。示例是例如纯JS实现,其实时解码MPEG1流,包括音频和视频,例如this和this。当然,这适用于大多数浏览器目前可以做的极限。还有一个emscripten based H-264解码器似乎也通过WebGL使用GPU,但我不能说它的性能 - 它可能是下一段的一个很好的起点:
更好的选择是查看WebAssembly,它可以运行预编译的二进制代码,例如C / C ++源代码。这允许您在浏览器中使用以本机速度运行的HVEC / H.264解码器的开源实现(谨慎使用许可证和术语,especially for H.264),或使用(linkable) ffmpeg等软件的一部分。
我对任何非便携式解决方案都感兴趣
在这种情况下,您可能想要构建一个可以使用web-extension的messaging to interact with native application(也就是浏览器扩展)(后者在这种情况下可能是ffmpeg,或者是可以直接处理流的程序)。
这究竟是如何工作的当然取决于你正在使用的协议等等。
根据有限的范围/描述,我只需2美分。
这个问题的解决方案是WebRTC。可以集成外部编码器或使用嵌入式编码器。在浏览器中,WebRTC客户端使用H / W解码。 WebRTC还提供实时流功能。兼容性也不错。
经过长时间的研究,使用媒体源扩展(MSE)在Android浏览器上使用硬件解码器解码h264 HLS TS段流是可能的。由于iOS不支持MSE,因此在iOS中使用Safari似乎遇到了障碍,因为Apple不允许通过FIFO缓冲区或回调访问硬件解码器。鉴于,Apple对WebRTC的支持似乎只能在iOS中获得硬件解码器,这相当于“接收视频呼叫”流程,除了输入必须是远程http流并且输出必须转到画布。