AVPlayer 播放视频合成结果不正确

Question

我需要一件简单的事情：在旋转的同时播放视频并在其上应用

CIFilter

。

首先，我创建播放器项目：

AVPlayerItem *item = [AVPlayerItem playerItemWithURL:videoURL];

// DEBUG LOGGING
AVAssetTrack *track = [[item.asset tracksWithMediaType:AVMediaTypeVideo] objectAtIndex:0];
NSLog(@"Natural size is: %@", NSStringFromCGSize(track.naturalSize));
NSLog(@"Preferred track transform is: %@", NSStringFromCGAffineTransform(track.preferredTransform));
NSLog(@"Preferred asset transform is: %@", NSStringFromCGAffineTransform(item.asset.preferredTransform));

然后我需要应用视频合成。最初，我想创建一个带有 2 个指令的

AVVideoComposition

- 一个是用于旋转的

AVVideoCompositionLayerInstruction

，另一个是

CIFilter

应用程序。但是，我收到一个异常，提示“期望视频合成仅包含 AVCoreImageFilterVideoCompositionInstruction”，这意味着 Apple 不允许组合这两个指令。结果，我在过滤下将两者结合起来，代码如下：

AVAsset *asset = playerItem.asset;
CGAffineTransform rotation = [self transformForItem:playerItem];

AVVideoComposition *composition = [AVVideoComposition videoCompositionWithAsset:asset applyingCIFiltersWithHandler:^(AVAsynchronousCIImageFilteringRequest * _Nonnull request) {
    // Step 1: get the input frame image (screenshot 1)
    CIImage *sourceImage = request.sourceImage;

    // Step 2: rotate the frame
    CIFilter *transformFilter = [CIFilter filterWithName:@"CIAffineTransform"];
    [transformFilter setValue:sourceImage forKey: kCIInputImageKey];
    [transformFilter setValue: [NSValue valueWithCGAffineTransform: rotation] forKey: kCIInputTransformKey];
    sourceImage = transformFilter.outputImage;
    CGRect extent = sourceImage.extent;
    CGAffineTransform translation = CGAffineTransformMakeTranslation(-extent.origin.x, -extent.origin.y);
    [transformFilter setValue:sourceImage forKey: kCIInputImageKey];
    [transformFilter setValue: [NSValue valueWithCGAffineTransform: translation] forKey: kCIInputTransformKey];
    sourceImage = transformFilter.outputImage;

    // Step 3: apply the custom filter chosen by the user
    extent = sourceImage.extent;
    sourceImage = [sourceImage imageByClampingToExtent];
    [filter setValue:sourceImage forKey:kCIInputImageKey];
    sourceImage = filter.outputImage;
    sourceImage = [sourceImage imageByCroppingToRect:extent];
    
    // Step 4: finish processing the frame (screenshot 2)
    [request finishWithImage:sourceImage context:nil];
}];

playerItem.videoComposition = composition;

我在调试过程中制作的屏幕截图显示图像已成功旋转并且应用了过滤器（在本示例中，它是一个不会更改图像的身份过滤器）。这是在上面评论中标记的点处拍摄的屏幕截图 1 和屏幕截图 2：

可以看到，旋转成功了，生成的框架的范围也是正确的。

当我尝试在播放器中播放该视频时，问题就出现了。这是我得到的：

所以看起来所有的帧都被缩放并向下移动。绿色区域是空帧信息，当我夹紧到一定程度以使帧无限大小时，它显示边框像素而不是绿色。我有一种感觉，播放器在旋转之前仍然会从

AVPlayerItem

获取一些旧的尺寸信息，这就是为什么在上面的第一个代码片段中我记录了尺寸和变换，有日志：

Natural size is: {1920, 1080}
Preferred track transform is: [0, 1, -1, 0, 1080, 0]
Preferred asset transform is: [1, 0, 0, 1, 0, 0]

播放器设置如下：

layer.videoGravity = AVLayerVideoGravityResizeAspectFill;
layer.needsDisplayOnBoundsChange = YES;

请注意最重要的事情：

这只发生在应用程序本身使用相机横向iPhone[6s]方向录制并之前保存在设备存储中的视频。该应用程序以纵向模式录制的视频完全没问题（顺便说一下，纵向视频的大小和转换日志与横向视频完全相同！奇怪......也许iPhone将旋转信息放入视频中并修复了它）。因此，缩放和移动视频似乎是“宽高比填充”和旋转前旧分辨率信息的组合。顺便说一句，由于缩放以填充具有不同纵横比的播放器区域，纵向视频帧部分显示，但这是预期的行为。 让我知道您对此的想法，如果您知道如何更好地完成我的需要，那么很高兴知道。

Answer 1

更新：

有一种更简单的方法可以在播放期间“更改”AVPlayerItem 视频尺寸 - 设置视频合成的

renderSize

属性（可以使用

AVMutableVideoComposition

类来完成）。

我的旧答案如下：

经过大量调试，我理解了问题并找到了解决方案。我最初的猜测是，

---

AVPlayer 仍然认为视频是原始大小

，这是正确的。下图中解释了发生了什么：

至于解决方案，我找不到改变

AVAsset

或

AVPlayerItem

内视频大小的方法。因此，我只是操纵视频以适应

AVPlayer

期望的大小和比例，然后在具有正确宽高比的播放器中播放时，并标记缩放并填充播放器区域 - 一切看起来都很好。这是图解说明：

这里是需要插入问题中提到的

applyingCIFiltersWithHandler

块中的附加代码：

... after Step 3 in the question codes above

// make the frame the same aspect ratio as the original input frame
// by adding empty spaces at the top and the bottom of the extent rectangle
CGFloat newHeight = originalExtent.size.height * originalExtent.size.height / extent.size.height;
CGFloat inset = (extent.size.height - newHeight) / 2;
extent = CGRectInset(extent, 0, inset);
sourceImage = [sourceImage imageByCroppingToRect:extent];

// scale down to the original frame size
CGFloat scale = originalExtent.size.height / newHeight;
CGAffineTransform scaleTransform = CGAffineTransformMakeScale(scale, scale);
[transformFilter setValue:sourceImage forKey: kCIInputImageKey];
[transformFilter setValue: [NSValue valueWithCGAffineTransform: scaleTransform] forKey: kCIInputTransformKey];
sourceImage = transformFilter.outputImage;

// translate the frame to make it's origin start at (0, 0)
CGAffineTransform translation = CGAffineTransformMakeTranslation(0, -inset * scale);
[transformFilter setValue:sourceImage forKey: kCIInputImageKey];
[transformFilter setValue: [NSValue valueWithCGAffineTransform: translation] forKey: kCIInputTransformKey];
sourceImage = transformFilter.outputImage;