使用 FFmpeg 解码和重采样音频以使用 libao 输出

Question

我正在尝试编写一个程序来使用 FFmpeg 和 libao 读取和播放音频文件。我一直在按照FFmpeg documentation 中概述的程序使用新的avcodec_send_packet 和avcodec_receive_frame 函数解码音频，但是我能够找到的示例很少（FFmpeg 文档中的示例）要么不使用 libavformat，要么使用已弃用的 avcodec_decode_audio4)。我的很多程序都基于 FFmpeg 文档中的 transcode_aac.c 示例（最高为 init_resampler），但这也使用了不推荐使用的解码功能。

我相信我的程序的解码部分可以正常工作，但我需要重新采样音频以便将其转换为交错格式以发送到 libao，为此我正在尝试使用 libswresample。每当程序以其当前状态运行时，它会输出（多次）“错误重采样：输出已更改”。我一直在使用的测试文件只是我手头上的一个 YouTube 翻录。 ffprobe 将唯一的流报告为：

Stream #0:0(und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 125 kb/s (default)

这是我第一个使用 FFmpeg 的程序（而且我对 C 语言还比较陌生），因此欢迎任何关于如何改进/修复程序其他部分的建议。

#include<stdio.h>
#include<libavcodec/avcodec.h>
#include<libavformat/avformat.h>
#include<libavutil/avutil.h>
#include<libswresample/swresample.h>
#include<ao/ao.h>

#define OUTPUT_CHANNELS 2
#define OUTPUT_RATE 44100
#define BUFFER_SIZE 192000
#define OUTPUT_BITS 16
#define OUTPUT_FMT AV_SAMPLE_FMT_S16

static char *errtext (int err) {
    static char errbuff[256];
    av_strerror(err,errbuff,sizeof(errbuff));
    return errbuff;
}

static int open_audio_file (const char *filename, AVFormatContext **context, AVCodecContext **codec_context) {
    AVCodecContext *avctx;
    AVCodec *codec;
    int ret;
    int stream_id;
    int i;

    // Open input file
    if ((ret = avformat_open_input(context,filename,NULL,NULL)) < 0) {
        fprintf(stderr,"Error opening input file '%s': %s\n",filename,errtext(ret));
        *context = NULL;
        return ret;
    }

    // Get stream info
    if ((ret = avformat_find_stream_info(*context,NULL)) < 0) {
        fprintf(stderr,"Unable to find stream info: %s\n",errtext(ret));
        avformat_close_input(context);
        return ret;
    }

    // Find the best stream
    if ((stream_id = av_find_best_stream(*context,AVMEDIA_TYPE_AUDIO,-1,-1,&codec,0)) < 0) {
        fprintf(stderr,"Unable to find valid audio stream: %s\n",errtext(stream_id));
        avformat_close_input(context);
        return stream_id;
    }

    // Allocate a decoding context
    if (!(avctx = avcodec_alloc_context3(codec))) {
        fprintf(stderr,"Unable to allocate decoder context\n");
        avformat_close_input(context);
        return AVERROR(ENOMEM);
    }

    // Initialize stream parameters
    if ((ret = avcodec_parameters_to_context(avctx,(*context)->streams[stream_id]->codecpar)) < 0) {
        fprintf(stderr,"Unable to get stream parameters: %s\n",errtext(ret));
        avformat_close_input(context);
        avcodec_free_context(&avctx);
        return ret;
    }

    // Open the decoder
    if ((ret = avcodec_open2(avctx,codec,NULL)) < 0) {
        fprintf(stderr,"Could not open codec: %s\n",errtext(ret));
        avformat_close_input(context);
        avcodec_free_context(&avctx);
        return ret;
    }

    *codec_context = avctx;
    return 0;
}

static void init_packet (AVPacket *packet) {
    av_init_packet(packet);
    packet->data = NULL;
    packet->size = 0;
}

static int init_resampler (AVCodecContext *codec_context, SwrContext **resample_context) {
    int ret;

    // Set resampler options
    *resample_context = swr_alloc_set_opts(NULL,
                                           av_get_default_channel_layout(OUTPUT_CHANNELS),
                                           OUTPUT_FMT,
                                           codec_context->sample_rate,
                                           av_get_default_channel_layout(codec_context->channels),
                                           codec_context->sample_fmt,
                                           codec_context->sample_rate,
                                           0,NULL);
    if (!(*resample_context)) {
        fprintf(stderr,"Unable to allocate resampler context\n");
        return AVERROR(ENOMEM);
    }

    // Open the resampler
    if ((ret = swr_init(*resample_context)) < 0) {
        fprintf(stderr,"Unable to open resampler context: %s\n",errtext(ret));
        swr_free(resample_context);
        return ret;
    }

    return 0;
}

static int init_frame (AVFrame **frame) {
    if (!(*frame = av_frame_alloc())) {
        fprintf(stderr,"Could not allocate frame\n");
        return AVERROR(ENOMEM);
    }
    return 0;
}

int main (int argc, char *argv[]) {
    AVFormatContext *context = 0;
    AVCodecContext *codec_context;
    SwrContext *resample_context = NULL;
    AVPacket packet;
    AVFrame *frame = 0;
    AVFrame *resampled = 0;
    int16_t *buffer;
    int ret, packet_ret, finished;

    ao_device *device;
    ao_sample_format format;
    int default_driver;

    if (argc != 2) {
        fprintf(stderr,"Usage: %s <filename>\n",argv[0]);
        return 1;
    }

    av_register_all();
    printf("Opening file...\n");
    if (open_audio_file(argv[1],&context,&codec_context) < 0)
        return 1;

    printf("Initializing resampler...\n");
    if (init_resampler(codec_context,&resample_context) < 0) {
        avformat_close_input(&context);
        avcodec_free_context(&codec_context);
        return 1;
    }

    // Setup libao
    printf("Starting audio device...\n");
    ao_initialize();
    default_driver = ao_default_driver_id();
    format.bits = OUTPUT_BITS;
    format.channels = OUTPUT_CHANNELS;
    format.rate = codec_context->sample_rate;
    format.byte_format = AO_FMT_NATIVE;
    format.matrix = 0;
    if ((device = ao_open_live(default_driver,&format,NULL)) == NULL) {
        fprintf(stderr,"Error opening audio device\n");
        avformat_close_input(&context);
        avcodec_free_context(&codec_context);
        swr_free(&resample_context);
        return 1;
    }

    // Mainloop
    printf("Beginning mainloop...\n");
    init_packet(&packet);
    // Read packets until done
    while (1) {
        packet_ret = av_read_frame(context,&packet);
        // Send a packet
        if ((ret = avcodec_send_packet(codec_context,&packet)) < 0)
            fprintf(stderr,"Error sending packet to decoder: %s\n",errtext(ret));

        av_packet_unref(&packet);

        while (1) {
            if (!frame)
                frame = av_frame_alloc();

            ret = avcodec_receive_frame(codec_context,frame);
            if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) // Need more input
                break;
            else if (ret < 0) {
                fprintf(stderr,"Error receiving frame: %s\n",errtext(ret));
                break;
            }
            // We have a valid frame, need to resample it
            if (!resampled)
                resampled = av_frame_alloc();

            resampled->channel_layout = av_get_default_channel_layout(OUTPUT_CHANNELS);
            resampled->sample_rate = codec_context->sample_rate;
            resampled->format = OUTPUT_FMT;

            if ((ret = swr_convert_frame(resample_context,resampled,frame)) < 0) {
                fprintf(stderr,"Error resampling: %s\n",errtext(ret));
            } else {
                ao_play(device,(char*)resampled->extended_data[0],resampled->linesize[0]);
            }
            av_frame_unref(resampled);
            av_frame_unref(frame);
        }

        if (packet_ret == AVERROR_EOF)
            break;
    }

    printf("Closing file and freeing contexts...\n");
    avformat_close_input(&context);
    avcodec_free_context(&codec_context);
    swr_free(&resample_context);

    printf("Closing audio device...\n");
    ao_close(device);
    ao_shutdown();

    return 0;
}

更新：我现在可以播放声音了，但听起来好像缺少样本（MP3 文件警告“无法更新跳过样本的时间戳”）。问题是resampled 框架需要在传递给swr_convert_frame 之前设置某些属性。我还添加了av_packet_unref 和av_frame_unref，但我仍然不确定在哪里找到它们的最佳位置。

Answer 1

ao_play(device,(char*)resampled->extended_data[0],resampled->linesize[0]);

你在这行有问题。重新采样的音频帧具有不正确的线大小参数。 swr_convert_frame 将 data 和 extended_data 字段与静音对齐。这种静音包含在 linesize 参数中，因此您将不正确的帧大小传递给 ao_play 函数。

ao_play(device, (char*)resampled->extended_data[0], av_sample_get_buffer_size(resampled->linesize, resampled->channels, resampled->nb_samples, resampled->format, 0));

函数 av_sample_get_buffer_size() 返回真实的样本大小，没有对齐。当我遇到类似问题时，这就是解决方案。