Android FFmpeg系列04--FFmpeg调用MediaCodec进行硬解码

2022-09-21 14:54:21 浏览数 (1)

引言

在上篇文章中我们通过FFmpeg软解并渲染了本地的一个mp4视频

Android FFmpeg系列03--视频解码与渲染

本文基于之前的Demo添加了FFmpeg使用MediaCodec来硬解码的方式，包括解码出buffer再利用OpenGL进行渲染上屏和直接解码到Surface然后上屏两种方式

FFmpeg使用MediaCodec可以在解封装后拿到AVPacket再利用jni将buffer回调到java层，然后在java层调用MediaCodec；也可以直接在native层利用AMediaCodec

用于测试的mp4采用H264编码

所以使用上述两种调用MediaCodec方式的时候需要先通过

“h264_mp4toannexb” filter

将AVPacket进行转换一次，相关背景可以参考H264码流之AnnexB和AVCC

不过在本系列教程中使用的FFmepg5.0.1版本，bitstream filter的相关接口都已经被移除

所以接下来采用FFmpeg在3.1之后提供的直接调用MediaCodec的C接口来实现硬解码

（https://trac.ffmpeg.org/wiki/HWAccelIntro）

可以看到目前还只支持解码而不支持编码

编译

在之前的编译脚本中打开如下三个配置即可（详情参考Android FFmpeg系列01--编译与集成）

代码语言：javascript复制
--enable-jni 
--enable-mediacodec 
--enable-decoder=h264_mediacodec

不需要再配置h264_mediacodec的硬件加速（list中已经查找不到了）

--enable-hwaccel=h264_mediacodec

解码出Buffer

解码流程和软解类似，不再赘述，重点描述一下流程不一样的地方

将JVM实例设置给FFmpeg

代码语言：javascript复制
// libavcodec/jni.h
// int av_jni_set_java_vm(void *vm, void *log_ctx);
// 方式一，在so加载的JNI_OnLoad方法中调用
// 方式二，在用到ffmpeg的模块调用即可，该方法可以多次调用，只要jvm实例相同即可
JavaVM *javaVm = nullptr;
env->GetJavaVM(&javaVm);
if (javaVm != nullptr) {
    av_jni_set_java_vm(javaVm, nullptr);
}

通过"h264_mediacodec"查找解码器

由于h264_mediacodec解码器和h264解码器id相同，所以

代码语言：javascript复制
// 软解时
avcodec_find_decoder(id);
// 使用mediacodec硬解时
avcodec_find_decoder_by_name(“h264_mediacodec”);

之后的步骤和软解步骤完全相同，不需要做任何更改

本地测试采用软解出来的AVFrame格式是AV_PIX_FMT_YUV420P，

使用h264_mediacodec硬解出来的AVFrame格式是AV_PIX_FMT_NV12

解码到Surface

解码流程和软解的流程也是类似的，这里重点描述下差异的地方

也可以参考ffmpeg5.0.1/doc/examples/hw_decode.c

要硬解到Surface上，重点是配置get_format和hw_device_ctx

查找type

代码语言：javascript复制
AVHWDeviceType type = av_hwdevice_find_type_by_name("mediacodec");

查找hw_pix_fmt，能找到就是支持mediacodec解码

代码语言：javascript复制
for (int i = 0; ;   i) {
    const AVCodecHWConfig *config = avcodec_get_hw_config(h264Mediacodec, i);
    if (!config) {
        LOGE("Decoder: %s does not support device type: %s", h264Mediacodec->name,av_hwdevice_get_type_name(type))
        break;
    }
    if (config->methods & AV_CODEC_HW_CONFIG_METHOD_HW_DEVICE_CTX && config->device_type == type) {
        // AV_PIX_FMT_MEDIACODEC(165)
        hw_pix_fmt = config->pix_fmt;
        LOGE("Decoder: %s support device type: %s, hw_pix_fmt: %d, AV_PIX_FMT_MEDIACODEC: %d", h264Mediacodec->name,
                         av_hwdevice_get_type_name(type), hw_pix_fmt, AV_PIX_FMT_MEDIACODEC);
        break;
    }
}

get_hw_format方法

代码语言：javascript复制
static enum AVPixelFormat hw_pix_fmt = AV_PIX_FMT_NONE;
static enum AVPixelFormat get_hw_format(AVCodecContext *ctx,
                                        const enum AVPixelFormat *pix_fmts) {
    const enum AVPixelFormat *p;

    for (p = pix_fmts; *p != -1; p  ) {
        if (*p == hw_pix_fmt) {
            LOGI("get HW surface format: %d", *p);
            return *p;
        }
    }

    LOGE("Failed to get HW surface format");
    return AV_PIX_FMT_NONE;
}

解码器上下文设置get_format

代码语言：javascript复制
mVideoCodecContext->get_format = get_hw_format;

配置hw_device_ctx

代码语言：javascript复制
av_hwdevice_ctx_create(&mHwDeviceCtx, type, nullptr, nullptr, 0);
mVideoCodecContext->hw_device_ctx = av_buffer_ref(mHwDeviceCtx);

要解码到Surface上，还需要配置AVMediaCodecContext

代码语言：javascript复制
if (surface != nullptr) {
    mMediaCodecContext = av_mediacodec_alloc_context();
    av_mediacodec_default_init(mVideoCodecContext, mMediaCodecContext, surface);
}

从源码中可以看到将生成的mediac codec ctx设置给解码器ctx的hwaccel_context

上述步骤都是在打开解码器之前完成，剩下的步骤和软解一致了，只是解码出来的AVFrame的fmt为上面我们查找到的hw_pix_fmt，也就是AV_PIX_FMT_MEDIACODE

渲染到Surface上

（http://mplayerhq.hu/pipermail/ffmpeg-devel/2016-March/191700.html）

如果需要从hw surface上拿到buffer，可以通过av_hwframe_transfer_data进行转换

（Demo还是上篇文章的地址，切换到dev分支即可～）

参考

1.【ffmpeg mediacodec硬解初探】

http://www.4k8k.xyz/article/tifentan/80605472#google_vignette

2.【FFmpeg 调用 MediaCodec 硬解码到 Surface 上】

https://cloud.tencent.com/developer/article/1901883?from=article.detail.1928893

~~END~~

编程算法 视频处理 python 打包 java

0 人点赞