我正在尝试使用 MediaCodec 从视频文件中获取所有帧。如果我尝试在 SurfaceView 上显示视频，一切正常。但是如果表面为空，并且当我尝试从字节数组获取位图时，总是会得到空或运行时异常。
这是我的代码：
private class PlayerThread extends Thread {
private MediaExtractor extractor;
private MediaCodec decoder;
private Surface surface;
public PlayerThread(Surface surface) {
this.surface = surface;
}
@Override
public void run() {
extractor = new MediaExtractor();
extractor.setDataSource(videoPath);
for (int i = 0; i < extractor.getTrackCount(); i++) {
MediaFormat format = extractor.getTrackFormat(i);
String mime = format.getString(MediaFormat.KEY_MIME);
if (mime.startsWith("video/")) {
extractor.selectTrack(i);
decoder = MediaCodec.createDecoderByType(mime);
decoder.configure(format, /*surface*/ null, null, 0);
break;
}
}
if (decoder == null) {
Log.e("DecodeActivity", "Can't find video info!");
return;
}
decoder.start();
ByteBuffer[] inputBuffers = decoder.getInputBuffers();
ByteBuffer[] outputBuffers = decoder.getOutputBuffers();
BufferInfo info = new BufferInfo();
boolean isEOS = false;
while (!Thread.interrupted()) {
++numFrames;
if (!isEOS) {
int inIndex = decoder.dequeueInputBuffer(10000);
if (inIndex >= 0) {
ByteBuffer buffer = inputBuffers[inIndex];
int sampleSize = extractor.readSampleData(buffer, 0);
if (sampleSize < 0) {
// We shouldn't stop the playback at this point,
// just pass the EOS
// flag to decoder, we will get it again from the
// dequeueOutputBuffer
Log.d("DecodeActivity",
"InputBuffer BUFFER_FLAG_END_OF_STREAM");
decoder.queueInputBuffer(inIndex, 0, 0, 0,
MediaCodec.BUFFER_FLAG_END_OF_STREAM);
isEOS = true;
} else {
decoder.queueInputBuffer(inIndex, 0, sampleSize,
extractor.getSampleTime(), 0);
extractor.advance();
}
}
}
int outIndex = decoder.dequeueOutputBuffer(info, 10000);
switch (outIndex) {
case MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED:
Log.d("DecodeActivity", "INFO_OUTPUT_BUFFERS_CHANGED");
outputBuffers = decoder.getOutputBuffers();
break;
case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED:
Log.d("DecodeActivity",
"New format " + decoder.getOutputFormat());
break;
case MediaCodec.INFO_TRY_AGAIN_LATER:
Log.d("DecodeActivity", "dequeueOutputBuffer timed out!");
break;
default:
// I tried get Bitmap on few ways
//1.
//ByteBuffer buffer = outputBuffers[outIndex];
//byte[] ba = new byte[buffer.remaining()];
//buffer.get(ba);
//final Bitmap bmp = BitmapFactory.decodeByteArray(ba, 0, ba.length);// this return null
//2.
//ByteBuffer buffer = outputBuffers[outIndex];
//final Bitmap bmp = Bitmap.createBitmap(1920, 1080, Config.ARGB_8888);//using MediaFormat object I know width and height
//int a = bmp.getByteCount(); //8294400
//buffer.rewind();
//int b = buffer.capacity();//3137536
//int c = buffer.remaining();//3137536
//bmp.copyPixelsFromBuffer(buffer); // java.lang.RuntimeException: Buffer not large enough for pixels
//I know what exception mean, but i don't know why xception occurs
//In this place I need bitmap
// We use a very simple clock to keep the video FPS, or the
// video
// playback will be too fast
while (info.presentationTimeUs / 1000 > System
.currentTimeMillis() - startMs) {
try {
sleep(10);
} catch (InterruptedException e) {
e.printStackTrace();
break;
}
}
decoder.releaseOutputBuffer(outIndex, true);
break;
}
// All decoded frames have been rendered, we can stop playing
// now
if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
Log.d("DecodeActivity",
"OutputBuffer BUFFER_FLAG_END_OF_STREAM");
break;
}
}
decoder.stop();
decoder.release();
extractor.release();
}
}
我不知道如何解决。
萨摩斯岛
您的代码（或者可以说是 MediaCodec）存在一些问题。
首先，MediaCodec 中的 ByteBuffer 处理很差，因此您必须根据
dequeueOutputBuffer()其次，从 MediaCodec 出来的值是 YUV 格式，而不是 RGB。从 Android 4.4 开始，Android 框架不提供将输出转换为位图的函数。您需要提供自己的 YUV 到 RGB 转换器（复数 - 有多种格式）。有些设备使用专有的、未记录的颜色格式。
您可以在 CTS EncodeDecodeTest 缓冲区到缓冲区方法中查看提取和检查 MediaCodec 解码器缓冲区内容的示例（例如
checkFrame()解决此问题的更可靠方法是返回解码到 Surface，但使用 OpenGL ES 提取像素。 bigflake ExtractMpegFramesTest 展示了如何做到这一点。
简短的回答是：
在 switch 语句的默认部分中，您需要重置 ByteBuffer 位置，因此改为：
ByteBuffer buffer = outputBuffers[outIndex];
byte[] ba = new byte[buffer.remaining()];
buffer.get(ba);
你应该有类似的东西
ByteBuffer buffer = outputBuffers[outIndex];
buffer.position(info.offset);
buffer.limit(info.offset + info.size);
byte[] ba = new byte[buffer.remaining()];
buffer.get(ba);
在你的原始代码中，你会发现你的ByteBuffer的remaining()为0。
这并非微不足道，但却是可能的。看到这个类：https://github.com/dburckh/HeifViewer/blob/develop/app/src/main/java/com/homesoft/iso/heif/ImageDecoder.kt
其要点是创建一个 ImageReader Surface 作为 MediaCodec 解码器的目标。然后使用 PixelCopy 将 Surface 复制到位图。问题是，如果 MediaCodec 解码帧的速度比您转换帧的速度快，您就会丢帧。我通过在将前一帧解码为位图后仅向 MediaCodec 提供一个新帧来解决此问题。
另一种可能的解决方案是使用 MediaCodec.getOutputImage()。假设输出是 YUV，您可以使用 libyuv 转换为 ARGB。所有这些都将在 C 中完成，并且假设您可以访问图像中的 ByteBuffer。该方法也有缺陷，因为有许多不同的图像格式。仅供参考：大多数视频都是 YUV420 变体，因此这有点限制。
最简单的方法是从图像中获取硬件缓冲区并将其包装在位图中。不幸的是，这并不受支持，但可能值得尝试。 :)