如何使用ffmpeg提取帧序列并通过subprocess.Popen获取它

Question

由于读取单个帧有点慢，所以我尝试一次提取多个帧。现在我得到了ffmpeg不返回列表而是一堆字节的问题。操作系统：Win10python版本3.7.4ffmpeg从mp4提取帧

        command = [self.FFMPEG_BINARY,
                   '-loglevel', 'fatal',
                   '-ss', str(datetime.timedelta(seconds=frame_index / self._fps)),
                   '-i', os.path.join(self._path, self._filename),
                   '-threads', str(self.THREAD_NUM),
                   '-vf', 'scale=%d:%d' % (self._resolution[0], self._resolution[1]),
                   '-vframes', str(num_frames),
                   '-f', 'image2pipe',
                   '-pix_fmt', 'rgb24',
                   '-vcodec', 'rawvideo', '-']

        pipe = subprocess.Popen(command, stderr=subprocess.PIPE, stdout=subprocess.PIPE)
        tmplist = []
        for _ in range(num_frames):
            output, err = pipe.communicate()
            tmplist.append(output)
            if err: print('error', err); return None;
            pygame.image.frombuffer(output, self._resolution, "RGB")

        return tmplist

预期：pygame Surfaces的列表得到：ValueError：缓冲区长度不等于格式和分辨率大小

Answer 1

管道无法返回列表，只能返回流。您需要使用yuv4mpegpupe之类的格式，然后解析出帧。或者使用预先计算每个帧的大小并读取该字节数。

例如，rgb24是宽度乘以高度乘以3个字节。