如何访问HTML5视频解码功能?

问题描述 投票:2回答:3

HTML5具有<video/>元素,可从服务器下载视频,对其进行解码和渲染。通常,如果不是总是他们使用硬件加速解码(如果可用)。

是否可以访问解码功能?原因是我正在使用自定义流媒体协议,因此在客户端我编码了我需要解码和渲染的视频流。

遗憾的是,视频解码器的纯JavaScript实现不适用,因为它们无法提供足够的性能。我只对HVEC或h.264编解码器感兴趣。

html5 html5-video hardware-acceleration video-codecs
3个回答
6
投票

是否可以访问解码功能?

很不幸的是,不行。我们只能访问处理流/源文件的高级API,这些API具有有限的影响,例如基于时间的位置,播放状态和各种事件。我们可以将画框作为原始RGB(A)从当前解码帧中绘制到画布上,但这就是它。

原因是我使用自定义流媒体协议,所以在客户端我编码了我需要解码和渲染的视频流

您没有描述此协议,因此我们只能猜测,但您可能能够构建浏览器兼容的流,视频元素可以使用Media Source Extensions。这使您可以在客户端中构建自适应和自定义流式处理解决方案。

遗憾的是,视频解码器的纯JavaScript实现不适用,因为它们无法提供足够的性能。

这不一定是真的。示例是例如纯JS实现,其实时解码MPEG1流,包括音频和视频,例如thisthis。当然,这适用于大多数浏览器目前可以做的极限。还有一个emscripten based H-264解码器似乎也通过WebGL使用GPU,但我不能说它的性能 - 它可能是下一段的一个很好的起点:

更好的选择是查看WebAssembly,它可以运行预编译的二进制代码,例如C / C ++源代码。这允许您在浏览器中使用以本机速度运行的HVEC / H.264解码器的开源实现(谨慎使用许可证和术语,especially for H.264),或使用(linkable) ffmpeg等软件的一部分。

我对任何非便携式解决方案都感兴趣

在这种情况下,您可能想要构建一个可以使用web-extensionmessaging to interact with native application(也就是浏览器扩展)(后者在这种情况下可能是ffmpeg,或者是可以直接处理流的程序)。

这究竟是如何工作的当然取决于你正在使用的协议等等。

根据有限的范围/描述,我只需2美分。


0
投票

这个问题的解决方案是WebRTC。可以集成外部编码器或使用嵌入式编码器。在浏览器中,WebRTC客户端使用H / W解码。 WebRTC还提供实时流功能。兼容性也不错。


0
投票

经过长时间的研究,使用媒体源扩展(MSE)在Android浏览器上使用硬件解码器解码h264 HLS TS段流是可能的。由于iOS不支持MSE,因此在iOS中使用Safari似乎遇到了障碍,因为Apple不允许通过FIFO缓冲区或回调访问硬件解码器。鉴于,Apple对WebRTC的支持似乎只能在iOS中获得硬件解码器,这相当于“接收视频呼叫”流程,除了输入必须是远程http流并且输出必须转到画布。

© www.soinside.com 2019 - 2024. All rights reserved.