我试图创建一个工具来从通过http传输的mjpeg流中获取帧。我没有找到任何规格所以我看了维基百科说here:
响应对MJPEG文件或流的GET请求,服务器通过HTTP流式传输JPEG帧序列。一个特殊的mime类型内容类型
multipart/x-mixed-replace;boundary=<boundary-name>
通知客户端期望几个部分(帧)作为<boundary-name>
界定的答案。此边界名称在MIME类型声明本身中明确公开。
但这在实践中似乎并不十分准确。我倾倒了一些流来了解它们的行为方式。大多数流具有以下格式(其中CRLF
是回车换行符,部分标题是一些没有状态行的标题字段):
Status line (e.g. HTTP/1.0 200 OK) CRLF
Header fields (e.g. Cache-Control: no-cache) CRLF
Content-Type header field (e.g. Content-Type: multipart/x-mixed-replace; boundary=--myboundary) CRLF
CRLF (Denotes that the header is over)
Boundary (Denotes that the first frame is over) CRLF
Partial header fields (mostly: Content-type: image/jpeg) CRLF
CRLF (Denotes that this "partial header" is over)
Actual frame data CRLF
(Sometimes here is an optional CRLF)
Boundary
Starting again at partial header (line 6)
第一帧从不包含实际图像数据。所有分析的流都具有Content-Type标头,类型设置为multipart/x-mixed-replace
。
但是有些流在这里弄错了:
两个服务器声称boundary="MOBOTIX_Fast_Serverpush"
但后来使用--MOBOTIX_Fast_Serverpush
作为框架分隔符。
这让我非常恼火,所以我想采用另一种方法来获取帧。
由于每个JPEG都以0xFF 0xD8
作为图像开始标记开始,以0xFF 0xD9
结束,我可以开始寻找这些。这似乎是一种非常肮脏的方法,我不是很喜欢它,但它可能是最强大的方法。
在我开始实现之前,我是否有一些关于HTTP的MJPEG错过了什么?是否有通过HTTP传输MJPEG的真实规范?只是观察JPEG的开始和结束标记而不是使用边界来分隔帧时有什么注意事项?
这在实践中似乎不是很准确。
它在实践中非常准确。你只是没有正确处理它。
第一帧从不包含实际图像数据。
是的,它确实。在第一个MIME实体之前始终存在起始边界(因为MIME可以在第一个实体之前包含序言数据)。您认为MIME边界仅存在于每个MIME实体之后,但事实并非如此。
我建议你阅读MIME规范,特别是RFC 2045和RFC 2046。 MIME在这种情况下工作正常,你只是没有正确地解释结果。
实际帧数据CRLF (有时这里是可选的CRLF) 边界
实际上,最后一个CRLF不是可选的,它实际上是跟随MIME实体数据的下一个边界的一部分(参见RFC 2046 Section 5)。 MIME边界必须出现在它们自己的行上,因此在实体数据之后人为地插入CRLF,这对于不是由它们自己的CRLF自然终止的数据类型(如图像)尤其重要。
两个服务器声称
boundary="MOBOTIX_Fast_Serverpush"
但后来使用--MOBOTIX_Fast_Serverpush
作为框架分隔符
这就是MIME应该如何工作。在boundary
头中指定的Content-Type
在实际实体流中始终以--
为前缀,并且在最后一个实体之后的终止边界也以--
为后缀。
例如:
Content-Type: multipart/x-mixed-replace; boundary="MOBOTIX_Fast_Serverpush"
--MOBOTIX_Fast_Serverpush
Content-Type: image/jpeg
<jpeg bytes>
--MOBOTIX_Fast_Serverpush
Content-Type: image/jpeg
<jpeg bytes>
--MOBOTIX_Fast_Serverpush
... and so on ...
--MOBOTIX_Fast_Serverpush--
这让我非常恼火,所以我想采用另一种方法来获取帧。
你所想的不会起作用,也不像你想的那么强大。您确实需要正确处理MIME流。
处理multipart/x-mixed-replace
时,你应该做的是:
Content-Type
响应头指定的第一个MIME边界。image/jpeg
实体)。