H265实现手机投屏

H265编码

为什么会有H265

视频分辨率从720p 到 1080P 再到后面的4k 8k电视蓬勃发展
- 视频帧率从30帧到60帧，再到120帧
- 宏块个数爆发式增长
- 宏块复杂度降低
- 运动矢量的复杂度大幅增加

H265的优势

1、降低码流，提升编码效率， H.265提供了更加多样化的手段来降低码流。除了在编解码效率的提升之外，对网络的适应性方面H.265也有显著提升，可以很好地运行在多重复杂网络条件下。因此视频会议应用H.265，能够确保在低网络带宽下，仍可实现高分辨率的视频播放
2、高品质1080P60图像质量，传统H.264视频会议系统，在10Mb的网络带宽下，想要达到1080P30的实时通信效果，已经是相当困难了。现在运用H.265编解码技术，这种情况得到大大改观，支持在相同带宽下，实现高于1080P30达到1080P60甚至是4k的视频播放，大幅度提升交互感和逼真感。这也意味着：H.265能够在有限带宽下，传输更高质量的视频内容，不仅让视频会议用户体验到更好的效果，也减少了网络带宽传输高清视频的压力，降低用户使用视频会议的带宽费用。
3、降低延时，更高效快捷。 H.265编解码在H.264的基础上进行大量技术创新，尤其是在降低实时时延上有着显著的成果，它通过减少信息获取时间、降低随机接入时延、降低算法复杂度等多维度技术优势来实现。

H265特点

H265将宏块的大小从H264的16x16扩展到了64x64，以便于高分辨率视频的压缩
H265采用了更加灵活的编码结构来提高编码效率undefined包括编码单元（类似H264宏块，用于编码）、预测单元和变换单元。
H265帧内预测
- H265:所有的CU块，亮度有35种预测方向，色度5种
- H264：亮度4x4和8x8块都是9个方向，16x16是4种方向，色度4种方向

H265码流分析

关于SPS/PPS/IDR/P/B等概念这里就不再详细说明。H264和H265的每一个NALU前缀码也是一样的，即“0x00 00 00 01”或者 “0x00 00 01”。大家可以看我之前的文章Android音视频开发——H264的基本概念
H264的帧类型 ，因为H264是后5位保存帧类型数据，所以与1F即可

image.png

H265的帧类型 ：将value&7E>>1就可以得到帧类型

image.png

我们常需要的类型

帧类型	value
vps	32
sps	33
pps	34
IDR	19
P	1
B	0

实例分析

image.png

我们以40 01为例

代码语言：txt复制

    0100  0000  40

代码语言：txt复制

&   0111  1110  7E

代码语言：txt复制

=   0100  0000  40

代码语言：txt复制

>>1 0010  0000  =32

我们发现结果是32也就是vps

42 01为例我们发现结果是33，也就是sps

代码语言：txt复制

    0100  0010  42

代码语言：txt复制

&   0111  1110  7E

代码语言：txt复制

=   0100  0010  42

代码语言：txt复制

>>1 0010  0001  =33

H265实现手机投屏

实现效果.gif

原理

image.png

核心代码

首先我们需要获取录制屏幕的数据,其实也就是编码层

代码语言：txt复制

    public void startLive() {

代码语言：txt复制

        try {

代码语言：txt复制

            //服务器端编码H264通过socket发送给客户端

代码语言：txt复制

            MediaFormat format = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_HEVC, mWidth, mHeight);

代码语言：txt复制

            format.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);

代码语言：txt复制

            format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1);

代码语言：txt复制

            format.setInteger(KEY_BIT_RATE, mWidth * mHeight);

代码语言：txt复制

            format.setInteger(KEY_FRAME_RATE, 20);

代码语言：txt复制

            mMediaCodec = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_HEVC);

代码语言：txt复制

            mMediaCodec.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);

代码语言：txt复制

            //创建场地

代码语言：txt复制

            Surface surface = mMediaCodec.createInputSurface();

代码语言：txt复制

            mVirtualDisplay = mMediaProjection.createVirtualDisplay("CodecLiveH265",

代码语言：txt复制

                    mWidth, mHeight, 1, DisplayManager.VIRTUAL_DISPLAY_FLAG_PUBLIC, surface, null, null);

代码语言：txt复制

            mHandler.post(this);

代码语言：txt复制

        } catch (IOException e) {

代码语言：txt复制

            e.printStackTrace();

代码语言：txt复制

    @Override

代码语言：txt复制

    public void run() {

代码语言：txt复制

        mMediaCodec.start();

代码语言：txt复制

        MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();

代码语言：txt复制

        while (true) {

代码语言：txt复制

            //取出数据发送给客户端

代码语言：txt复制

            int outIndex = mMediaCodec.dequeueOutputBuffer(bufferInfo, 1000);

代码语言：txt复制

            if (outIndex >= 0) {

代码语言：txt复制

                ByteBuffer buffer = mMediaCodec.getOutputBuffer(outIndex);

代码语言：txt复制

                dealFrame(buffer, bufferInfo);

代码语言：txt复制

                mMediaCodec.releaseOutputBuffer(outIndex, false);

代码语言：txt复制

如果大家有不懂的可以看我之前的文章：Android音视频开发——MedCodec实现屏幕录制编码成H264

我们需要注意处理帧的方法dealFrame。在h265的数据中，其实只会出现一次VPS，SPS和PPS，但是在投屏过程中，我们必须在每次传I帧的时候，都需要将VPS_PPS_SPS一并传过去

代码语言：txt复制

    public static final int NAL_I = 19;

代码语言：txt复制

    public static final int NAL_VPS = 32;

代码语言：txt复制

    //vps sps pps是一帧，所以只需要获取vps

代码语言：txt复制

    private byte[] vps_sps_pps_buffer;

代码语言：txt复制

    private void dealFrame(ByteBuffer buffer, MediaCodec.BufferInfo bufferInfo) {

代码语言：txt复制

        //过滤掉第一个0x00 00 00 01 或者0x 00 00 01

代码语言：txt复制

        int offset = 4;

代码语言：txt复制

        if (buffer.get(2) == 0x01) {

代码语言：txt复制

            offset = 3;

代码语言：txt复制

        //获取帧类型

代码语言：txt复制

        int type = (buffer.get(offset) & 0x7E) >> 1;

代码语言：txt复制

        if (type == NAL_VPS) {

代码语言：txt复制

            vps_sps_pps_buffer = new byte[bufferInfo.size];

代码语言：txt复制

            buffer.get(vps_sps_pps_buffer);

代码语言：txt复制

        } else if (type == NAL_I) {

代码语言：txt复制

            //I帧

代码语言：txt复制

            final byte[] bytes = new byte[bufferInfo.size];

代码语言：txt复制

            buffer.get(bytes);

代码语言：txt复制

            //vps_pps_sps I帧的数据

代码语言：txt复制

            byte[] newBuffer = new byte[vps_sps_pps_buffer.length   bytes.length];

代码语言：txt复制

            System.arraycopy(vps_sps_pps_buffer, 0, newBuffer, 0, vps_sps_pps_buffer.length);

代码语言：txt复制

            System.arraycopy(bytes, 0, newBuffer, vps_sps_pps_buffer.length, bytes.length);

代码语言：txt复制

            mWebSocketSendLive.sendData(newBuffer);

代码语言：txt复制

        }else{

代码语言：txt复制

            //P帧 B帧直接发送就可以了

代码语言：txt复制

            final byte[] bytes = new byte[bufferInfo.size];

代码语言：txt复制

            buffer.get(bytes);

代码语言：txt复制

            mWebSocketSendLive.sendData(bytes);

代码语言：txt复制

接下来就是接收端去解析获得buffer

第一步初始化解码器

代码语言：txt复制

    //初始化解码器

代码语言：txt复制

    private fun initDecoder(surface: Surface?) {

代码语言：txt复制

        mMediaCodec = MediaCodec.createDecoderByType(MediaFormat.MIMETYPE_VIDEO_HEVC)

代码语言：txt复制

        val format =

代码语言：txt复制

            MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_HEVC, mWidth, mHeight)

代码语言：txt复制

        format.setInteger(MediaFormat.KEY_BIT_RATE, mWidth * mHeight)

代码语言：txt复制

        format.setInteger(MediaFormat.KEY_FRAME_RATE, 20)

代码语言：txt复制

        format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1)

代码语言：txt复制

        mMediaCodec.configure(

代码语言：txt复制

            format,

代码语言：txt复制

            surface,

代码语言：txt复制

            null, 0

代码语言：txt复制

        mMediaCodec.start()

代码语言：txt复制

第二步，对获得的数据进行解码

代码语言：txt复制

    override fun callBack(data: ByteArray?) {

代码语言：txt复制

        //回调

代码语言：txt复制

        LogUtils.e("接收到数据的长度:${data?.size}")

代码语言：txt复制

        //客户端主要将获取到的数据进行解码，首先需要通过dsp进行解码

代码语言：txt复制

        val index = mMediaCodec.dequeueInputBuffer(10000)

代码语言：txt复制

        if (index >= 0) {

代码语言：txt复制

            val inputBuffer = mMediaCodec.getInputBuffer(index)

代码语言：txt复制

            inputBuffer.clear()

代码语言：txt复制

            inputBuffer.put(data, 0, data!!.size)

代码语言：txt复制

            //通知dsp芯片帮忙解码

代码语言：txt复制

            mMediaCodec.queueInputBuffer(index, 0, data.size, System.currentTimeMillis(), 0)

代码语言：txt复制

        //取出数据

代码语言：txt复制

        val bufferInfo = MediaCodec.BufferInfo()

代码语言：txt复制

        var outIndex: Int = mMediaCodec.dequeueOutputBuffer(bufferInfo, 10000)

代码语言：txt复制

        while (outIndex > 0) {

代码语言：txt复制

            mMediaCodec.releaseOutputBuffer(outIndex, true)

代码语言：txt复制

            outIndex = mMediaCodec.dequeueOutputBuffer(bufferInfo, 10000)

代码语言：txt复制

android 云点播

0 人点赞