与ffmpeg不一致的帧数

问题描述 投票：0回答：2

我经常遇到 hvc1 视频在 ffprobe 信息和 FFmpeg 信息之间获得不一致帧数的问题，我想知道这个问题的原因是什么，以及如何在不重新编码的情况下解决它视频。

我用我的测试视频编写了以下示例脚本

我将视频分成 5 秒的片段，我得到 ffprobe 给出了预期的视频长度，但 FFmpeg 在每个片段上给出的帧比预期少 3 帧，但第一个。

如果我分割 10 秒或任何分割，问题是完全一样的，我总是丢失 3 帧。

我注意到第一段总是比其他段小 3 帧（在 ffprobe 上），并且它是唯一一致的。

这是我为测试此问题而编写的示例脚本：

# get total video frame number using ffprobe or ffmpeg
total_num_frames=$(ffprobe -v quiet -show_entries stream=nb_read_packets -count_packets -select_streams v:0 -print_format json test_video.mp4 | jq '.streams[0].nb_read_packets' | tr -d '"')
echo $total_num_frames
ffmpeg -hwaccel cuda -i test_video.mp4 -vsync 2 -f null -

# Check ffprobe of each segment is consistent 
rm -rf clips && mkdir clips && \
ffmpeg -i test_video.mp4 -acodec copy -f segment -vcodec copy -reset_timestamps 1 -segment_time 5 -map 0 clips/part_%d.mp4
count_frames=0
for i in {0..5}
do
    num_packets=$(ffprobe -v quiet -show_entries stream=nb_read_packets -count_packets -select_streams v:0 -print_format json clips/part_$i.mp4 | jq '.streams[0].nb_read_packets' | tr -d '"')
    count_frames=$(($count_frames+$num_packets))
    echo $num_packets $count_frames $total_num_frames
done

输出如下

3597
ffmpeg version 4.2.4-1ubuntu0.1 Copyright (c) 2000-2020 the FFmpeg developers
  built with gcc 9 (Ubuntu 9.3.0-10ubuntu2)
  configuration: --prefix=/usr --extra-version=1ubuntu0.1 --toolchain=hardened --libdir=/usr/lib/x86_64-linux-gnu --incdir=/usr/include/x86_64-linux-gnu --arch=amd64 --enable-gpl --disable-stripping --enable-avresample --disable-filter=resample --enable-avisynth --enable-gnutls --enable-ladspa --enable-libaom --enable-libass --enable-libbluray --enable-libbs2b --enable-libcaca --enable-libcdio --enable-libcodec2 --enable-libflite --enable-libfontconfig --enable-libfreetype --enable-libfribidi --enable-libgme --enable-libgsm --enable-libjack --enable-libmp3lame --enable-libmysofa --enable-libopenjpeg --enable-libopenmpt --enable-libopus --enable-libpulse --enable-librsvg --enable-librubberband --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libspeex --enable-libssh --enable-libtheora --enable-libtwolame --enable-libvidstab --enable-libvorbis --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx265 --enable-libxml2 --enable-libxvid --enable-libzmq --enable-libzvbi --enable-lv2 --enable-omx --enable-openal --enable-opencl --enable-opengl --enable-sdl2 --enable-libdc1394 --enable-libdrm --enable-libiec61883 --enable-nvenc --enable-chromaprint --enable-frei0r --enable-libx264 --enable-shared
  libavutil      56. 31.100 / 56. 31.100
  libavcodec     58. 54.100 / 58. 54.100
  libavformat    58. 29.100 / 58. 29.100
  libavdevice    58.  8.100 / 58.  8.100
  libavfilter     7. 57.100 /  7. 57.100
  libavresample   4.  0.  0 /  4.  0.  0
  libswscale      5.  5.100 /  5.  5.100
  libswresample   3.  5.100 /  3.  5.100
  libpostproc    55.  5.100 / 55.  5.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'test_video.mp4':
  Metadata:
    major_brand     : isom
    minor_version   : 512
    compatible_brands: isomiso2mp41
    encoder         : Lavf58.29.100
  Duration: 00:00:59.95, start: 0.035000, bitrate: 11797 kb/s
    Stream #0:0(und): Video: hevc (Main) (hvc1 / 0x31637668), yuv420p(tv, bt709), 1920x1080, 11692 kb/s, 60.01 fps, 60 tbr, 19200 tbn, 19200 tbc (default)
    Metadata:
      handler_name    : Core Media Video
    Stream #0:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, mono, fltp, 91 kb/s (default)
    Metadata:
      handler_name    : Core Media Audio
Stream mapping:
  Stream #0:0 -> #0:0 (hevc (native) -> wrapped_avframe (native))
  Stream #0:1 -> #0:1 (aac (native) -> pcm_s16le (native))
Press [q] to stop, [?] for help
Output #0, null, to 'pipe:':
  Metadata:
    major_brand     : isom
    minor_version   : 512
    compatible_brands: isomiso2mp41
    encoder         : Lavf58.29.100
    Stream #0:0(und): Video: wrapped_avframe, nv12, 1920x1080, q=2-31, 200 kb/s, 60 fps, 60 tbn, 60 tbc (default)
    Metadata:
      handler_name    : Core Media Video
      encoder         : Lavc58.54.100 wrapped_avframe
    Stream #0:1(und): Audio: pcm_s16le, 44100 Hz, mono, s16, 705 kb/s (default)
    Metadata:
      handler_name    : Core Media Audio
      encoder         : Lavc58.54.100 pcm_s16le
frame= 3597 fps=788 q=-0.0 Lsize=N/A time=00:00:59.95 bitrate=N/A speed=13.1x    
video:1883kB audio:5162kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: unknown

然后

297 297 3597
300 597 3597
300 897 3597
300 1197 3597
300 1497 3597
300 1797 3597 <--- output are consistent based on ffprobe

但是如果我使用以下命令使用 ffmpeg 检查段大小

ffmpeg -hwaccel cuda -i clips/part_$i.mp4 -vsync 2 -f null -

第 0 部分没问题

frame=  297 fps=0.0 q=-0.0 Lsize=N/A time=00:00:04.95 bitrate=N/A speed=12.5x    
video:155kB audio:424kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: unknown

对于所有其他部分，它是不一致的，应该是 300

frame=  297 fps=0.0 q=-0.0 Lsize=N/A time=00:00:04.95 bitrate=N/A speed=12.3x    
video:155kB audio:423kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: unknown

问题与任何其他间隔大小完全相同，例如 10 秒我会得到以下视频大小：

ffprobe 597 - 600 ...
ffmpeg 597 597 ...

我认为它可能与源 vfr 或 cfr 有关，但我尝试将输入转换为 cfr，但没有任何改变。

此外，我尝试每秒强制关键帧以检查是否是以下参数的关键帧问题：-force_key_frames "expr:gte(t,n_forced*1)"，但问题完全相同。

我做错了什么？ hvc1 中的文件经常发生在我身上，我真的不知道如何处理。

video ffmpeg codec hevc
2个回答
5
投票

差异的来源是FFprobe计算丢弃的数据包，而FFmpeg不将丢弃的数据包计为帧。

您的结果与使用 3 个 B 帧（每个 P 帧或 I 帧对应 3 个连续的 B 帧）创建的视频流一致。

根据维基百科：

I 帧是最不可压缩的，但不需要其他视频帧来解码。
P 帧可以使用先前帧的数据进行解压缩，并且比 I 帧更可压缩。
B 帧可以使用前一帧和前一帧作为数据参考，以获得最高的数据压缩量。

在不重新编码的情况下将具有 P-Frame 和 B-Frame 的视频分割成片段时，依赖链会中断。

  • （几乎）总是有帧取决于上一段或下一段的帧。
  • 保留上述帧，但匹配的数据包被标记为“丢弃”（用
    AV_PKT_FLAG_DISCARD
    标志标记）。

为了处理同一个数据集，我们构建了合成视频（用作输入）。

使用以下命令构建合成视频：

ffmpeg -y -r 60 -f lavfi -i testsrc=size=384x256:rate=1 -vf "setpts=N/60/TB" -g 60 -vcodec libx265 -x265-params crf=28:bframes=3:b-adapt=0 -tag:v hvc1 -pix_fmt yuv420p -t 20 test_video.mp4

  • -g 60
    将 GOP 大小设置为 60 帧（每 60 帧插入一个关键帧）。
  • bframes=3:b-adapt=0
    强制3个连续的B帧。

为了验证I/P/B帧的数量，我们可以使用FFprobe：

ffprobe -i test_video.mp4 -show_frames -show_entries frame=pict_type

输出是这样的：

pict_type=I

pict_type=B

pict_type=B

pict_type=B

pict_type=P

pict_type=B

pict_type=B

pict_type=B

...

按时间分段视频（每段 5 秒）：

ffmpeg -i test_video.mp4 -f segment -vcodec copy -reset_timestamps 1 -segment_time 5 clips/part_%d.mp4

FF探针计数：

297 1497 1200

300 1797 1200

300 2097 1200

303 2400 1200

FFmpeg 计数：

frame=  297

frame=  297

frame=  297

frame=  300

可以看到，结果和你的输出是一致的

我们可以使用 FFprobe 识别“丢弃”的数据包：

ffprobe -i part_1.mp4 -show_packets

寻找

flags=_D
.
带有
flags=_D
的数据包被标记为“丢弃”
注意：在视频流中，每个数据包都匹配一个帧。

FFprobe 输出开始于：

flags=K_

flags=_D

flags=_D

flags=_D

flags=__

flags=__

flags=__

...

对于每个中间段，有 3 个数据包被标记为“丢弃”，这就是 FFmpeg 与 FFprobe 相比丢失 3 个帧的原因。

0
投票

@Rotem 我无法使用 

-f concat

恢复“丢弃”的帧

有或没有

-c copy

ffmpeg -f concat -safe 0 -i myList.txt -c copy concat1.mp4

...输出流中的非单调DTS 0:0;...

或

ffmpeg -f concat -safe 0 -i myList.txt -vf "setpts=N/60/TB" -g 60 -vcodec libx265 -x265-params crf=28:bframes=3:b-adapt=0 -tag:v hvc1 -pix_fmt yuv420p concat2.mp4

1191 帧而不是 1200

最新问题
© www.soinside.com 2019 - 2024. All rights reserved.