ios:使用任意nsinputstream播放视频

问题描述 投票:7回答:2

我想将NSInputStream传递给MPMoviePlayerController,或MPMoviePlayerViewController,或其他任何东西。

输入流利用Apple框架不支持的协议。

我尝试创建一个自定义的NSURLProtocol(这种类型仅适用于设备(​​不是模拟器)),但是MediaPlayer尝试缓存所有内容并导致应用程序在分配250MB时崩溃。视频从不播放。

关于如何进行的任何想法?我知道有些应用程序会这样做。

我真的不想建立自己的媒体播放器,但似乎可能,不是吗?有没有关于如何仅使用CoreMedia而不是FFMPEG(等)的例子?编解码器选择对我来说并不重要 - 只是通过专有协议进行流式传输时的能力。

谢谢!

ios media-player media codec
2个回答
1
投票

kxmovie的custom_io分支正是我想要的。有些视频播放效果不佳,但这是一个开始。

https://github.com/kolyvan/kxmovie/tree/custom_io


0
投票

这是我写的一个应用程序,可以将实时视频从一个iOS设备传输到另一个iOS设备:

https://app.box.com/s/94dcm9qjk8giuar08305qspdbe0pc784

使用Xcode 9构建;在iOS 11上运行。

触摸其中一台设备上的摄像头图标,开始将视频流式传输到其他设备。

顺便说一句,听起来你在iOS设备上没有非常扎实的视频播放背景。 MPMoviePlayerController或MP-any真的没用。当您达到理解这一点并开始将您的努力投入AVFoundation时,这将对您非常有帮助:

这是NSStream子类NSInputStream的事件处理程序的相关部分:

case NSStreamEventHasBytesAvailable: {
            NSLog(@"NSStreamEventHasBytesAvailable");
            uint8_t * mbuf[DATA_LENGTH];
            mlen = [(NSInputStream *)stream read:(uint8_t *)mbuf maxLength:DATA_LENGTH];
            NSLog(@"mlen == %lu", mlen);
            [mdata appendBytes:(const void *)mbuf length:mlen];
            NSLog(@"mdata length == %lu", mdata.length);
            if (mlen < DATA_LENGTH) {
                NSLog(@"displayImage");
                UIImage *image = [UIImage imageWithData:mdata];
                [self.peerConnectionViewController.view.subviews[0].layer setContents:(__bridge id)image.CGImage];
                mdata = nil;
                mlen  = DATA_LENGTH;
                mdata = [[NSMutableData alloc] init];
            }
        } break;
 

而且,这是您的视频输出的事件处理程序,无论是来自相机还是来自视频文件:

- (void)captureOutput:(AVCaptureOutput *)output didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection
{
    CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
    CVPixelBufferLockBaseAddress(imageBuffer,0);
    uint8_t *baseAddress = (uint8_t *)CVPixelBufferGetBaseAddress(imageBuffer);
    size_t bytesPerRow = CVPixelBufferGetBytesPerRow(imageBuffer);
    size_t width = CVPixelBufferGetWidth(imageBuffer);
    size_t height = CVPixelBufferGetHeight(imageBuffer);
    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
    CGContextRef newContext = CGBitmapContextCreate(baseAddress, width, height, 8, bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst);
    CGImageRef newImage = CGBitmapContextCreateImage(newContext);
    CGContextRelease(newContext);
    CGColorSpaceRelease(colorSpace);
    UIImage *image = [[UIImage alloc] initWithCGImage:newImage scale:1 orientation:UIImageOrientationUp];
    CGImageRelease(newImage);
    CVPixelBufferUnlockBaseAddress(imageBuffer,0);
    
    NSData *data = [NSData dataWithData:UIImageJPEGRepresentation(image, 0.25)];
    
    __block BOOL baseCaseCondition = NO; // obviously this should be data driven, not hardcoded
    __block NSInteger _len = DATA_LENGTH;
    __block NSInteger _byteIndex = 0;
    typedef void (^RecursiveBlock)(void (^)());
    RecursiveBlock aRecursiveBlock;
    
    aRecursiveBlock = ^(RecursiveBlock block) {
        NSLog(@"Block called...");
        baseCaseCondition = (data.length > 0 && _byteIndex < data.length) ? TRUE : FALSE;
        if ((baseCaseCondition) && block)
        {
            _len = (data.length - _byteIndex) == 0 ? 1 : (data.length - _byteIndex) < DATA_LENGTH ? (data.length - _byteIndex) : DATA_LENGTH;
            //
            NSLog(@"START | byteIndex: %lu/%lu  writing len: %lu", _byteIndex, data.length, _len);
            //
            uint8_t * bytes[_len];
            [data getBytes:&bytes range:NSMakeRange(_byteIndex, _len)];
            _byteIndex += [self.outputStream write:(const uint8_t *)bytes maxLength:_len];
            //
            NSLog(@"END | byteIndex: %lu/%lu wrote len: %lu", _byteIndex, data.length, _len);
            //
            dispatch_barrier_async(dispatch_get_main_queue(), ^{
                block(block);
            });
        }
    };
    
    if (self.outputStream.hasSpaceAvailable)
            aRecursiveBlock(aRecursiveBlock);
}
 
 
© www.soinside.com 2019 - 2024. All rights reserved.