我复制粘贴了一些我在stackoverflow上找到的代码，将默认的相机预览YUV转换为RGB格式，然后将其上传到OpenGL进行处理。这很好用，问题是大多数CPU都忙着将YUV图像转换成RGB格式，它变成了瓶颈。
我想将YUV图像上传到GPU中，然后在片段着色器中将其转换为RGB。我使用了相同的Java YUV到RGB功能，我发现它在CPU上工作，并试图让它在GPU上工作。
它变成了一个相当小的噩梦，因为在Java和GPU上进行计算时存在一些差异。首先，预览图像以Java中的byte []形式出现，但字节是有符号的，因此可能存在负值。
此外，片段着色器通常处理[0..1]浮点值而不是字节。
我相信这是可以解决的，我几乎解决了它。但是我花了几个小时试图找出我做错了什么并且无法使它发挥作用。
最重要的是，我要求有人写这个着色器功能并最好测试它。对我来说，这将是一个繁琐的猴子工作，因为我不太明白为什么这种转换按原样运行，我只是尝试模仿GPU上的相同功能。
这与我在Java上使用的函数非常相似：Displaying YUV Image in Android
我在CPU上完成了一些工作，例如将1.5 * wh字节的YUV格式转换为wh * YUV，如下所示：
static public void decodeYUV420SP(int[] rgba, byte[] yuv420sp, int width,
int height) {
final int frameSize = width * height;
for (int j = 0, yp = 0; j < height; j++) {
int uvp = frameSize + (j >> 1) * width, u = 0, v = 0;
for (int i = 0; i < width; i++, yp++) {
int y = (int) yuv420sp[yp]+127;
if ((i & 1) == 0) {
v = (int)yuv420sp[uvp++]+127;
u = (int)yuv420sp[uvp++]+127;
}
rgba[yp] = 0xFF000000+(y<<16) | (u<<8) | v;
}
}
}
我添加了127因为字节已签名。然后我将rgba加载到OpenGL纹理中并尝试在GPU上进行剩余的计算。
任何帮助，将不胜感激...
转换CPU听起来很容易，但我相信问题是如何在GPU上做到这一点？
我最近在我的项目中做到了这一点，我需要获得非常快速的QR码检测，即使相机角度与打印代码的表面成45度，并且它具有很好的性能：
（以下代码被修剪为仅包含关键行，假设您对Java和OpenGLES都有扎实的了解）
int[] txt = new int[1];
GLES20.glGenTextures(1,txt,0);
GLES20.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES,txt[0]);
GLES20.glTextParameterf(... set min filter to GL_LINEAR );
GLES20.glTextParameterf(... set mag filter to GL_LINEAR );
GLES20.glTextParameteri(... set wrap_s to GL_CLAMP_TO_EDGE );
GLES20.glTextParameteri(... set wrap_t to GL_CLAMP_TO_EDGE );
注意纹理类型不是GL_TEXTURE_2D。这很重要，因为SurfaceTexture对象仅支持GL_TEXTURE_EXTERNAL_OES类型，这将在下一步中使用。
SurfaceTexture surfTex = new SurfaceTeture(txt[0]);
surfTex.setOnFrameAvailableListener(this);
上面假设'this'是一个实现'onFrameAvailable'函数的对象。
public void onFrameAvailable(SurfaceTexture st)
{
surfTexNeedUpdate = true;
// this flag will be read in GL render pipeline
}
Camera cam = Camera.open();
cam.setPreviewTexture(surfTex);
如果您定位Android 5.0，则不推荐使用此Camera API，因此如果您是，则必须使用新的CameraDevice API。
if( surfTexNeedUpdate )
{
surfTex.updateTexImage();
surfTexNeedUpdate = false;
}
GLES20.glBindTexture(GLES20.GL_TEXTURE_EXTERNAL_OS, txt[0]);
不言而喻，您需要设置当前活动纹理。
#extension GL_OES_EGL_imiage_external : require
以上是必须的。
纹理均匀必须是samplerExternalOES类型：
uniform samplerExternalOES u_Texture0;
从中读取像素就像从GL_TEXTURE_2D类型，并且UV坐标在相同的范围内（从0.0到1.0）：
vec4 px = texture2D(u_Texture0, v_UV);
cam.startPreview();
GLES20.glReadPixels(0,0,width,height,GLES20.GL_RGBA, GLES20.GL_UNSIGNED_BYTE, bytes);
上面的行假设您的FBO是RGBA，并且该字节已经初始化byte []数组到适当的大小，并且该宽度和高度是您的FBO的大小。
瞧！您已从相机捕获RGBA像素，而不是转换onPreviewFrame回调中收到的YUV字节...
如果不需要，也可以使用RGB帧缓冲对象并避免使用alpha。
重要的是要注意摄像机将调用onFrameAvailable在它自己的线程中，而不是你的GL渲染管道线程，因此你不应该在该函数中执行任何GL调用。
我使用维基百科的代码来计算GPU上从YUV到RGB的转换：
private static int convertYUVtoRGB(int y, int u, int v) {
int r,g,b;
r = y + (int)1.402f*v;
g = y - (int)(0.344f*u +0.714f*v);
b = y + (int)1.772f*u;
r = r>255? 255 : r<0 ? 0 : r;
g = g>255? 255 : g<0 ? 0 : g;
b = b>255? 255 : b<0 ? 0 : b;
return 0xff000000 | (b<<16) | (g<<8) | r;
}
我将浮点数转换为0.0..255.0，然后使用上面的代码。 CPU上的部分是将原始YUV像素重新排列成YUV矩阵（也在wikipdia中显示）。基本上我使用维基百科代码并做了最简单的float < - >字节版本来使其工作。像向Y添加16或者不向U和V添加128这样的小错误会产生不良结果。所以你需要照顾它。但是，一旦我使用维基百科代码作为基础，这并不是很多工作。