塞尚《玻璃杯和梨子》
这个公众号会路线图式的遍历分享音视频技术：音视频基础(完成) → 音视频工具(完成) → 音视频工程示例(进行中) → 音视频工业实战(准备)。关注一下成本不高，错过干货损失不小 ↓↓↓
iOS/Android 客户端开发同学如果想要开始学习音视频开发，最丝滑的方式是对音视频基础概念知识有一定了解后，再借助 iOS/Android 平台的音视频能力上手去实践音视频的采集 → 编码 → 封装 → 解封装 → 解码 → 渲染过程，并借助音视频工具来分析和理解对应的音视频数据。
在音视频工程示例这个栏目，我们将通过拆解采集 → 编码 → 封装 → 解封装 → 解码 → 渲染流程并实现 Demo 来向大家介绍如何在 iOS/Android 平台上手音视频开发。
这里是 Android 第十篇：Android 视频解封装 Demo。这个 Demo 里包含以下内容：
- 1）实现一个视频解封装模块；
- 2）实现对 MP4 文件中视频部分的解封装逻辑并将解封装后的编码数据存储为 H.264/H.265 文件；
- 3）详尽的代码注释，帮你理解代码逻辑和原理。
在本文中，我们将详解一下 Demo 的具体实现和源码。读完本文内容相信就能帮你掌握相关知识。
不过，如果你的需求是：1）直接获得全部工程源码；2）想进一步咨询音视频技术问题；3）咨询音视频职业发展问题。可以根据自己的需要考虑是否加入『关键帧的音视频开发圈』。
1、视频解封装模块
视频解封装模块即 KFMP4Demuxer，复用了《Android 音频解封装 Demo》中介绍的 demuxer，这里就不再重复介绍了，其接口如下：
KFMP4Demuxer.java
public class KFMP4Demuxer {
public KFMP4Demuxer(KFDemuxerConfig config, KFDemuxerListener listener); ///< 构造方法：配置 & 回调。
public void release(); ///< 释放解封装器实例。
public boolean hasVideo(); ///< 是否包含视频。
public boolean hasAudio(); ///< 是否包含音频。
public int duration(); ///< 文件时长。
public int rotation(); ///< 视频旋转角度。
public boolean isHEVC(); ///< 是否为 H265。
public int width(); ///< 视频宽度。
public int height(); ///< 视频高度。
public int samplerate(); ///< 音频采样率。
public int channel(); ///< 音频声道数。
public int audioProfile(); ///< 音频 profile。
public int videoProfile(); ///< 视频 profile。
public MediaFormat audioMediaFormat(); ///< 音频格式描述。
public MediaFormat videoMediaFormat(); //< 视频格式描述。
public ByteBuffer readAudioSampleData(MediaCodec.BufferInfo bufferInfo); ///< 读取音频帧。
public ByteBuffer readVideoSampleData(MediaCodec.BufferInfo bufferInfo); ///< 读取视频帧。
}
2、解封装 MP4 文件中的视频部分存储为 H.264/H.265 文件
我们还是在一个 MainActivity 中来实现对一个 MP4 文件解封装、获取其中的视频编码数据并存储为 H.264/H.265 文件。
MainActivity.java
public class MainActivity extends AppCompatActivity {
private KFMP4Demuxer mDemuxer; ///< 解封装器。
private KFDemuxerConfig mDemuxerConfig; ///< 解封装配置。
private FileOutputStream mStream = null;
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
///< 申请采集、存储权限。
if (ActivityCompat.checkSelfPermission(this, Manifest.permission.RECORD_AUDIO) != PackageManager.PERMISSION_GRANTED || ActivityCompat.checkSelfPermission(this, Manifest.permission.CAMERA) != PackageManager.PERMISSION_GRANTED ||
ActivityCompat.checkSelfPermission(this, Manifest.permission.READ_EXTERNAL_STORAGE) != PackageManager.PERMISSION_GRANTED ||
ActivityCompat.checkSelfPermission(this, Manifest.permission.WRITE_EXTERNAL_STORAGE) != PackageManager.PERMISSION_GRANTED) {
ActivityCompat.requestPermissions((Activity) this,
new String[] {Manifest.permission.CAMERA,Manifest.permission.RECORD_AUDIO, Manifest.permission.READ_EXTERNAL_STORAGE, Manifest.permission.WRITE_EXTERNAL_STORAGE},
1);
}
///< 解封装配置，控制仅输出视频。
mDemuxerConfig = new KFDemuxerConfig();
mDemuxerConfig.path = Environment.getExternalStorageDirectory().getPath() "/2.mp4";
mDemuxerConfig.demuxerType = KFMediaBase.KFMediaType.KFMediaVideo;
if (mStream == null) {
try {
mStream = new FileOutputStream(Environment.getExternalStorageDirectory().getPath() "/test.h264");
} catch (FileNotFoundException e) {
e.printStackTrace();
}
}
FrameLayout.LayoutParams startParams = new FrameLayout.LayoutParams(200, 120);
startParams.gravity = Gravity.CENTER_HORIZONTAL;
Button startButton = new Button(this);
startButton.setTextColor(Color.BLUE);
startButton.setText("开始");
startButton.setVisibility(View.VISIBLE);
startButton.setOnClickListener(new View.OnClickListener() {
@Override
public void onClick(View view) {
///< 解封装创建。
if (mDemuxer == null) {
mDemuxer = new KFMP4Demuxer(mDemuxerConfig,mDemuxerListener);
///< 根据 HEVC 分别获取 vps、sps、pps 等信息。
if (mDemuxer.isHEVC()) {
try {
ByteBuffer extradata = mDemuxer.videoMediaFormat().getByteBuffer("csd-0");
byte[] extradataBytes = new byte[extradata.capacity()];
extradata.get(extradataBytes);
mStream.write(extradataBytes);
} catch (IOException e) {
e.printStackTrace();
}
} else {
try {
ByteBuffer sps = mDemuxer.videoMediaFormat().getByteBuffer("csd-0");
byte[] spsBytes = new byte[sps.capacity()];
sps.get(spsBytes);
mStream.write(spsBytes);
} catch (IOException e) {
e.printStackTrace();
}
try {
ByteBuffer pps = mDemuxer.videoMediaFormat().getByteBuffer("csd-1");
byte[] ppsBytes = new byte[pps.capacity()];
pps.get(ppsBytes);
mStream.write(ppsBytes);
} catch (IOException e) {
e.printStackTrace();
}
}
///< 循环读取视频数据。
MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
ByteBuffer nextBuffer = mDemuxer.readVideoSampleData(bufferInfo);
while (nextBuffer != null) {
try {
byte[] dst = new byte[bufferInfo.size];
nextBuffer.get(dst);
mStream.write(dst);
} catch (IOException e) {
e.printStackTrace();
}
nextBuffer = mDemuxer.readVideoSampleData(bufferInfo);
}
Log.i("KFDemuxer","complete");
}
}
});
addContentView(startButton, startParams);
}
private KFDemuxerListener mDemuxerListener = new KFDemuxerListener() {
@Override
///< 解封装出错回调。
public void demuxerOnError(int error, String errorMsg) {
Log.i("KFDemuxer","error" error "msg" errorMsg);
}
};
}
上面是 MainActivity 的实现，其中主要包含这几个部分：
- 1）设置好待解封装的资源。
- 在
mDemuxerConfig中实现，我们这里是一个 MP4 文件。
- 在
- 2）创建解封装器。
new KFMP4Demuxer(mDemuxerConfig,mDemuxerListener)。
- 3）读取解封装后的视频编码数据并存储为 H.264/H.265 文件。
- 循环读取
readVideoSampleDataH.264/H.265 裸数据。 - 需要注意的是，我们从解封装器读取的音频 H.264/H.265 编码数据在存储文件时需要添加 VPS、PPS、SPS 信息。
- 循环读取
3、用工具播放 H.264/H.265 文件
完成视频解封装后，可以将 sdcard 文件夹下面的 test.h264 或 test.h265 文件拷贝到电脑上，使用 ffplay 播放来验证一下视频解封装的效果是否符合预期：
$ ffplay -i test.h264
$ ffplay -i test.h265
关于播放 H.264/H.265 文件的工具，可以参考《FFmpeg 工具》第 2 节 ffplay 命令行工具和《可视化音视频分析工具》第 2.1 节 StreamEye。
