使用FFmpeg对音频进行解码和重采样，并通过libao输出。

Question

我想用FFmpeg和libao写一个程序来读取和播放一个音频文件。我一直在按照在 FFmpeg文件 用来解码音频，使用新的 avcodec_send_packet 和 avcodec_receive_frame 函数，但我能找到的例子却很少（FFmpeg文档中的例子要么没有使用libavformat，要么使用了被废弃的 avcodec_decode_audio4). 我的很多程序都是基于 转码_aac.c 例子（最多 init_resampler)，但它也使用了被废弃的解码功能。

我相信我已经把程序的解码部分工作好了，但是我需要对音频进行重新采样，以便把它转换成交错格式发送给libao，为此我试图使用libswresample。每当程序在当前状态下运行时，它都会输出（多次）"Error resampling: 输出改变了"。我一直使用的测试文件只是我手头的YouTube翻录，ffprobe报告唯一的流为。

Stream #0:0(und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 125 kb/s (default)

这是我第一个使用FFmpeg的程序（我对C语言还比较陌生） 所以欢迎大家给我任何关于如何改进和修复程序其他部分的建议。

#include<stdio.h>
#include<libavcodec/avcodec.h>
#include<libavformat/avformat.h>
#include<libavutil/avutil.h>
#include<libswresample/swresample.h>
#include<ao/ao.h>

#define OUTPUT_CHANNELS 2
#define OUTPUT_RATE 44100
#define BUFFER_SIZE 192000
#define OUTPUT_BITS 16
#define OUTPUT_FMT AV_SAMPLE_FMT_S16

static char *errtext (int err) {
    static char errbuff[256];
    av_strerror(err,errbuff,sizeof(errbuff));
    return errbuff;
}

static int open_audio_file (const char *filename, AVFormatContext **context, AVCodecContext **codec_context) {
    AVCodecContext *avctx;
    AVCodec *codec;
    int ret;
    int stream_id;
    int i;

    // Open input file
    if ((ret = avformat_open_input(context,filename,NULL,NULL)) < 0) {
        fprintf(stderr,"Error opening input file '%s': %s\n",filename,errtext(ret));
        *context = NULL;
        return ret;
    }

    // Get stream info
    if ((ret = avformat_find_stream_info(*context,NULL)) < 0) {
        fprintf(stderr,"Unable to find stream info: %s\n",errtext(ret));
        avformat_close_input(context);
        return ret;
    }

    // Find the best stream
    if ((stream_id = av_find_best_stream(*context,AVMEDIA_TYPE_AUDIO,-1,-1,&codec,0)) < 0) {
        fprintf(stderr,"Unable to find valid audio stream: %s\n",errtext(stream_id));
        avformat_close_input(context);
        return stream_id;
    }

    // Allocate a decoding context
    if (!(avctx = avcodec_alloc_context3(codec))) {
        fprintf(stderr,"Unable to allocate decoder context\n");
        avformat_close_input(context);
        return AVERROR(ENOMEM);
    }

    // Initialize stream parameters
    if ((ret = avcodec_parameters_to_context(avctx,(*context)->streams[stream_id]->codecpar)) < 0) {
        fprintf(stderr,"Unable to get stream parameters: %s\n",errtext(ret));
        avformat_close_input(context);
        avcodec_free_context(&avctx);
        return ret;
    }

    // Open the decoder
    if ((ret = avcodec_open2(avctx,codec,NULL)) < 0) {
        fprintf(stderr,"Could not open codec: %s\n",errtext(ret));
        avformat_close_input(context);
        avcodec_free_context(&avctx);
        return ret;
    }

    *codec_context = avctx;
    return 0;
}

static void init_packet (AVPacket *packet) {
    av_init_packet(packet);
    packet->data = NULL;
    packet->size = 0;
}

static int init_resampler (AVCodecContext *codec_context, SwrContext **resample_context) {
    int ret;

    // Set resampler options
    *resample_context = swr_alloc_set_opts(NULL,
                                           av_get_default_channel_layout(OUTPUT_CHANNELS),
                                           OUTPUT_FMT,
                                           codec_context->sample_rate,
                                           av_get_default_channel_layout(codec_context->channels),
                                           codec_context->sample_fmt,
                                           codec_context->sample_rate,
                                           0,NULL);
    if (!(*resample_context)) {
        fprintf(stderr,"Unable to allocate resampler context\n");
        return AVERROR(ENOMEM);
    }

    // Open the resampler
    if ((ret = swr_init(*resample_context)) < 0) {
        fprintf(stderr,"Unable to open resampler context: %s\n",errtext(ret));
        swr_free(resample_context);
        return ret;
    }

    return 0;
}

static int init_frame (AVFrame **frame) {
    if (!(*frame = av_frame_alloc())) {
        fprintf(stderr,"Could not allocate frame\n");
        return AVERROR(ENOMEM);
    }
    return 0;
}

int main (int argc, char *argv[]) {
    AVFormatContext *context = 0;
    AVCodecContext *codec_context;
    SwrContext *resample_context = NULL;
    AVPacket packet;
    AVFrame *frame = 0;
    AVFrame *resampled = 0;
    int16_t *buffer;
    int ret, packet_ret, finished;

    ao_device *device;
    ao_sample_format format;
    int default_driver;

    if (argc != 2) {
        fprintf(stderr,"Usage: %s <filename>\n",argv[0]);
        return 1;
    }

    av_register_all();
    printf("Opening file...\n");
    if (open_audio_file(argv[1],&context,&codec_context) < 0)
        return 1;

    printf("Initializing resampler...\n");
    if (init_resampler(codec_context,&resample_context) < 0) {
        avformat_close_input(&context);
        avcodec_free_context(&codec_context);
        return 1;
    }

    // Setup libao
    printf("Starting audio device...\n");
    ao_initialize();
    default_driver = ao_default_driver_id();
    format.bits = OUTPUT_BITS;
    format.channels = OUTPUT_CHANNELS;
    format.rate = codec_context->sample_rate;
    format.byte_format = AO_FMT_NATIVE;
    format.matrix = 0;
    if ((device = ao_open_live(default_driver,&format,NULL)) == NULL) {
        fprintf(stderr,"Error opening audio device\n");
        avformat_close_input(&context);
        avcodec_free_context(&codec_context);
        swr_free(&resample_context);
        return 1;
    }

    // Mainloop
    printf("Beginning mainloop...\n");
    init_packet(&packet);
    // Read packets until done
    while (1) {
        packet_ret = av_read_frame(context,&packet);
        // Send a packet
        if ((ret = avcodec_send_packet(codec_context,&packet)) < 0)
            fprintf(stderr,"Error sending packet to decoder: %s\n",errtext(ret));

        av_packet_unref(&packet);

        while (1) {
            if (!frame)
                frame = av_frame_alloc();

            ret = avcodec_receive_frame(codec_context,frame);
            if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) // Need more input
                break;
            else if (ret < 0) {
                fprintf(stderr,"Error receiving frame: %s\n",errtext(ret));
                break;
            }
            // We have a valid frame, need to resample it
            if (!resampled)
                resampled = av_frame_alloc();

            resampled->channel_layout = av_get_default_channel_layout(OUTPUT_CHANNELS);
            resampled->sample_rate = codec_context->sample_rate;
            resampled->format = OUTPUT_FMT;

            if ((ret = swr_convert_frame(resample_context,resampled,frame)) < 0) {
                fprintf(stderr,"Error resampling: %s\n",errtext(ret));
            } else {
                ao_play(device,(char*)resampled->extended_data[0],resampled->linesize[0]);
            }
            av_frame_unref(resampled);
            av_frame_unref(frame);
        }

        if (packet_ret == AVERROR_EOF)
            break;
    }

    printf("Closing file and freeing contexts...\n");
    avformat_close_input(&context);
    avcodec_free_context(&codec_context);
    swr_free(&resample_context);

    printf("Closing audio device...\n");
    ao_close(device);
    ao_shutdown();

    return 0;
}

更新。 我已经得到了它播放的声音，但它听起来像样品丢失（和MP3文件警告说："无法更新时间戳为跳过的样品"）。问题是 resampled 框架需要在传递给 swr_convert_frame. 我还加了 av_packet_unref 和 av_frame_unref但我仍然不知道在哪里可以找到它们。

Answer 1

ao_play(device,(char*)resampled->extended_data[0],resampled->linesize[0]);

这一行有问题。swr_convert_frame将数据和extended_data字段与沉默对齐。swr_convert_frame将数据和extended_data字段与静默字段对齐，这个静默字段包含在lineize参数中，所以你将错误的帧大小传递给ao_play函数。

ao_play(device, (char*)resampled->extended_data[0], av_sample_get_buffer_size(resampled->linesize, resampled->channels, resampled->nb_samples, resampled->format, 0));

函数av_sample_get_buffer_size()返回真实的样本大小，不需要对齐。当我遇到类似的问题时，这就是解决方案。