视频中的样本是否表示 mdat 数据？

Question

我使用 isobmff 库进行复用。 （https://github.com/MPEGGroup/isobmff） 我将 h264(avc) 制作为 mp4 文件。 （混合） 当我混合时，我使用 ISOAddMediaSamples 这个函数。

在视频中，Sample 是否仅表示 mdat 数据？ 或者样品是否有可能包含 SEI 等？

mp4框中的sei信息与哪个框匹配？ （avcc 盒？trak 盒等...）

Answer 1

如果将 H.264 (AVC) 流包装（复用）到 MP4 中 - 您（可以）从 H.264 流中删除一些信息。

例如PPS/SPS：您必须将它们放入MP4容器（avcc）中。 您可以将它们从流中删除。

媒体数据 (mdat) 中可能会缺少 PPS/SPS。

流增强信息 (SEI) 保留在 H.264 流中，并将位于媒体数据 (mdat) 中。

流增强信息 (SEI) 多种多样，可以包含许多不同的信息，甚至包含特定于供应商的信息。 例如：

• 时间码
• 隐藏字幕
• 相机品牌和型号
• 等等

您可以解析流增强信息 (SEI)，查找隐藏字幕，然后在 MP4 中创建单独的隐藏字幕轨道。

通常，您不会触及流增强信息 (SEI)，只需传递它们，SEI 将位于 mdat 中。