如何使用.NET Core解析MPEG视频流

Question

对于个人项目，我试图从IP摄像机的MPEG流中读取数据，并在收到的各个帧上执行一些计算机视觉任务（使用.NET Core 2.2）。

我向摄像机的MPEG端点执行GET请求，并且返回了multipart/x-mixed-replace响应，该响应不断将看起来像是单个帧的内容作为JPEG图像流传输。

我无法理解的是从多部分响应中解析出帧的正确方法-如何对于我来说，获取帧并不重要，如果有更好的方法来解析这种流，我当然愿意改变-视频检索/处理对我来说是一个全新的世界：）

供参考：

MPEG端点：

GET http://192.168.0.14/mjpeg.cgi

示例响应标题：

Content-Type: multipart/x-mixed-replace;boundary=--video boundary--

示例响应正文：

Content-length: 41142
Date: 02-02-2019 12:43:19 AM
Content-type: image/jpeg

[payload]

--video boundary--
Content-length: 41220
Date: 02-02-2019 12:43:19 AM
Content-type: image/jpeg

[payload]

--video boundary--

到目前为止我所拥有的：

var client = new HttpClient() {
    BaseAddress = new Uri(streamUrl)
};

var stream = await client.GetStreamAsync(resource);

using (var streamReader = new StreamReader(stream)) {                
    while(true) {
        await GetFrameStart(streamReader);
        var frame = await ReadFrame(streamReader);

        // Get byte[] from returned frame above and construct image
    };
}

// ---

// Fast forward to the start of the Frame's bytes
static async Task GetFrameStart(StreamReader reader) {
    string buffer = null;
    while (buffer != string.Empty) {
        buffer = await reader.ReadLineAsync();
    }
}

// Read entire byte array until the video boundary is met
static async Task<String> ReadFrame(StreamReader reader) {
    string result = string.Empty;
    string line = null;

    while(!isBoundary(line)) {
        line = await reader.ReadLineAsync();
        if (!isBoundary(line)) result += line;
    };

    return result;
}

上面的代码似乎让我还了每一帧的单独[有效负载]，但是如果我将字符串转换为字节并写入磁盘时，该图像不是有效的jpeg：

var bytes = Encoding.UTF8.GetBytes(frame);

using (var fs = new FileStream("test.jpeg", FileMode.Create, FileAccess.Write)) {
    fs.Write(bytes, 0, bytes.Length);
}

Answer 1

您可以在一行中使用ffmpeg：

ffmpeg -i http://192.168.0.14/mjpeg.cgi -vcodec copy frame%d.jpg

这将提取所有带有编号名称的帧。

如果安装ffmpeg，则可以使用System.Diagnostics.Process这样从应用程序中调用它：

var process = new Process()
{
    StartInfo = new ProcessStartInfo()
    {
        FileName = "ffmpeg",
        Arguments = "-i http://192.168.0.14/mjpeg.cgi -vcodec copy frame%d.jpg",
        UseShellExecute = false,
        CreateNoWindow = true,
        RedirectStandardOutput = true,
        RedirectStandardError = true
    },
    EnableRaisingEvents = true
};

process.ErrorDataReceived += (sender, data) => Console.WriteLine(data.Data);

process.Start();
process.BeginErrorReadLine();

Answer 2

您可以使用Microsoft.AspNetCore.WebUtilities.MultipartReader

请参阅此Answer了解更多信息。

希望这会有所帮助。