NDK--利用FFmpeg进行视频解码

对于普通人而言，视频文件有许多格式，如mp4，rmvb，avi等，这存在的一个误区，让人们谈到视频就想到这些文件格式，而在音视频开发中，我们把这些文件格式称为封装格式，这些封装格式中，不仅仅包含着视频流，还包含着音频流，字幕流等，而视频流都按照视频编码标准进行编码，下面是视频编码标准

名称推出机构推出时间目前使用领域 HEVC(H.265) MPEG/ITU-T 2013 研发中 H.264 MPEG/ITU-T 2003 各个领域 MPEG4 MPEG 2001 不温不火 MPEG2 MPEG 1994 数字电视 VP9 Google 2013 研发中 VP8 Google 2008 不普及 VC-1 Microsoft Inc. 2006 微软平台

那么为什么要编码呢？我们知道所有的颜色都可以用三原色（Red，Green，Blue）来合成，任何一个图像都可以由RGB组成，那么一个像素点的RGB该如何表示呢？对于一幅图像，一般使用整数表示方法来进行描述：

·整数表示：取值范围为0～255或者00～FF，8个比特表示一个子像素，32个比特表示一个像素，这就是类似于某些平台上表示图像格式的 RGBA_8888数据格式。比如，Android平台上RGB_565的表示方法为16比特模式表示一个像素，R用5个比特来表示，G用6个比特来表示，B用5个比特来表示。

那么，计算一张 1280×720的RGBA_8888图像的大小，可采用如下方式：

1280 * 720 * 4 = 3.516MB

很明显如果一个视频使用RGB来存储，那么它的文件大小将非常庞大，如果fps（1秒的视频帧数目）是24，按照一般电影的长度90分钟来计算，RGB数据格式来表示的话，它的文件大小为：

3.516MB * 24fps * 90min * 60s = 455.7GB

后来，生物学家利用人眼的特性，推出了YUV，YUV主要应用于优化彩色视频信号的传输，使其向后兼容老式黑白电视。与RGB视频信号传输相比，它最大的优点在于只需要占用极少的频宽（RGB要求三个独立的视频信号同时传输）。

“Y”表示明亮度（Luminance或Luma），也称灰阶值；而“U”和“V”表示的则是色度（Chrominance或Chroma），它们的作用是描述影像的色彩及饱和度，用于指定像素的颜色。

YUV最常用的采样格式是4：2：0

如果某一行是4：2：0，那么其下一行就是4：0：2，再下一行是 4：2：0，以此类推。对于每个色度分量来说，水平方向和竖直方向的抽样率都是2：1，所以可以说色度的抽样率是4：1。对非压缩的8比特量化的视频来说，8×4的一张图片需要占用48字节的内存

相较于RGB，我们可以计算一帧为1280×720的视频帧，用 YUV420P的格式来表示，其数据量的大小如下：

1280 * 720 * 1 1280 * 720 * 0.5 = 1.318MB

如果fps（1秒的视频帧数目）是24，按照一般电影的长度90分钟来计算，那么这部电影用YUV420P的数据格式来表示的话，其数据量的大小就是：

1.318MB * 24fps * 90min * 60s = 166.8GB

虽然相比于RGB而言，文件体积已经小了很多，但仅用这种方式来存储电影肯定是不可行的，更别说在网络上进行流媒体播放了，那么如何对电影进行存储以及流媒体播放呢？答案是需要进行视频编码，即视频压缩

压缩分为有损压缩和无损压缩，无损压缩比2:1 ~ 3:1，有损压缩比10:1 ~ 20:1，一般都为有损压缩。主要针对以下几点进行压缩：

○ 空间冗余：图像相邻像素之间有较强的相关性 ○ 时间冗余：视频序列的相邻图像之间内容相似 ○ 编码冗余：不同像素值出现的概率不同 ○ 视觉冗余：人的视觉系统对某些细节不敏感 ○ 知识冗余：规律性的结构可由先验知识和背景知识得到

因此有了我们开始所说的视频编码标准，对视频进行压缩（编码）来保存文件，播放时对视频解压缩（解码）成YUV格式进行播放

接下来，利用之前编译集成好FFmpeg的as项目，初探视频解码：将视频转码成yuv格式

在手机中传入一个MP4视频：

在java中传入原始视频路径和转码视频路径：

代码语言：javascript复制

package com.aruba.ffmpegapplication;

import android.os.Bundle;
import android.os.Environment;
import android.view.View;

import androidx.appcompat.app.AppCompatActivity;

import java.io.File;

public class MainActivity extends AppCompatActivity {

    static {
        System.loadLibrary("native-lib");
    }

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

    }

    public native void decode(String inputFilePath, String outputFilePath);

    public void click(View view) {
        File input = new File(Environment.getExternalStorageDirectory(), "input.mp4");
        File output = new File(Environment.getExternalStorageDirectory(), "output.yuv");
        decode(input.getAbsolutePath(), output.getAbsolutePath());
    }
}

编写相应的native方法：