x264编码器:
x264编码库libx264实现真正的视频编解码,该编解码算法是基于块的混合编码技术,即帧内/帧间预测,然后对预测值变换、量化,最后熵编码所得。
编码帧的类型分为I帧(x264_type_i)、P帧(x264_type_p)、B帧(x264_type_b),在H264中叫做图像片Slice。X264把整帧图像看作一个Slice,片中有slice_type_i、slice_type_p、slice_type_b之分。I帧只有slice_type_i,P帧有slice_type_i、slice_type_p,B帧三种片都有。
x264的H264视频编码过程可以分为三个步骤:首先根据规则判定当前帧的编码类型,如果是B帧,要缓冲存放、获取;然后对待编码图像进行帧内预测、帧间预测、整数DCT变换、量化和熵编码;最后把压缩的H264数据进行NAL层打包输出。
x264编码器有关的重要结构体:
- x264_image_t:实际参与编码的编码帧图像信息:
typedef struct
{
int i_csp; //图像空间颜色
int i_plane; //图像平面数目
int i_stride[4]; //每个图像平面的跨度,也就是每一行数据的字节数
uint8_t *plane[4]; //每个图像平面存放数据的起始地址,plane[0]是Y平面,plane[1]是U平面,plane[2]是V平面
}x264_image_t; //待编码的图像
- x264_picture_t:x264编码器定义便于控制的图像帧,描述一帧的特征。包含x264_image_t和x264_param_t结构体:
typedef struct
{
int i_type; //帧的类型,初始化为auto,在编码过程自行控制
int i_qpplus1; //此参数减1代表当前帧的量化参数值
int i_pic_struct; //帧的结构类型
int b_keyframe; //输出是否是关键帧
int64_t i_pts; //一帧的显示时间戳
int64_t i_dts; //输出解码时间戳
x264_param_t *param;
x264_image_t img;
x264_image_properties_t prop;
x264_hrd_t hrd_timing;
void *opaque;
} x264_picture_t; //x264编码视频帧
- x264_param_t:初始化编码器。
typedef struct
{
unsigned int cpu; //CPU 标志位
int i_threads; //并行编码多帧
int b_sliced_threads; //如果设置为false,一个slice只编码成一个NALU,默认值是true
int b_deterministic; //是否允许非确定性时线程优化
int b_cpu_independent; //强制采用典型行为,而不是采用独立于CPU的优化算法
int i_sync_lookahead; //线程超前缓存帧数
int i_width; //视频图像的宽
int i_height; //视频图像的高
int i_csp; //色彩空间设置,仅支持I420
int i_level_idc; //编码复杂度
int i_frame_total; //编码帧的总数, 不知道默认为0即可
struct
{
int i_sar_height; //样本宽高比的高度
int i_sar_width; //样本宽高比的宽度
int i_vidformat; //视频在编码/数字化之前是什么类型,默认"undef(不设置)"
int b_fullrange; //样本亮度和色度的计算方式,默认"off"
int i_colorprim; //原始色度格式,默认"undef"
int i_transfer; //转换方式,默认"undef"
int i_colmatrix; //设置从RGB计算得到亮度和色度所用的矩阵系数,默认"undef"
int i_chroma_loc; //设置色度采样位置,范围0~5,默认0
} vui; //vui参数集 : 视频可用性信息、视频标准化选项
//比特流参数
int i_frame_reference; //最大参考帧数目
int i_dpb_size; //Decoded picture buffer size
int i_keyint_max; //设定IDR帧之间的最间隔,在此间隔设置IDR关键帧
int i_keyint_min; //设定IDR帧之间的最小间隔, 场景切换小于此值编码位I帧, 而不是 IDR帧
int i_scenecut_threshold; //场景切换阈值,插入I帧
int b_intra_refresh; //是否使用周期帧内刷新替代IDR帧
int i_bframe; //两个参考帧之间的B帧数目
int i_bframe_adaptive; //自适应B帧判定, 可选取值:X264_B_ADAPT_FAST等
int i_bframe_bias; //控制B帧替代P帧的概率,范围-100 ~ 100,该值越高越容易插入B帧,默认0
int i_bframe_pyramid; //允许部分B帧为参考帧,可选取值:0=off, 1=strict hierarchical, 2=normal
int b_open_gop; //帧间的预测都是在GOP中进行,后一个GOP会参考前一个GOP的信息
int b_bluray_compat; //支持蓝光碟
int b_deblocking_filter; //去块滤波开关
int i_deblocking_filter_alphac0;//[-6, 6] -6 light filter, 6 strong
int i_deblocking_filter_beta; //[-6, 6] 同上
int b_cabac; //自适应算术编码cabac开关
int i_cabac_init_idc; //给出算术编码初始化时表格的选择
int b_interlaced; //隔行扫描
int b_constrained_intra;
int i_cqm_preset; //自定义量化矩阵(CQM), 初始化量化模式为flat
char *psz_cqm_file; //读取JM格式的外部量化矩阵文件,忽略其他cqm选项
uint8_t cqm_4iy[16]; //used only if i_cqm_preset == X264_CQM_CUSTOM
uint8_t cqm_4py[16];
uint8_t cqm_4ic[16];
uint8_t cqm_4pc[16];
uint8_t cqm_8iy[64];
uint8_t cqm_8py[64];
uint8_t cqm_8ic[64];
uint8_t cqm_8pc[64];
void(*pf_log)(void *, int i_level, const char *psz, va_list); //日志函数
void *p_log_private;
int i_log_level; //日志级别,不需要打印编码信息时直接注释掉即可
int b_visualize; //是否显示日志
char *psz_dump_yuv; //重建帧的文件名
struct
{
unsigned int intra; //帧内分区
unsigned int inter; //帧间分区
int b_transform_8x8;
int i_weighted_pred; //P帧权重
int b_weighted_bipred; //B帧隐式加权
int i_direct_mv_pred; //时间空间运动向量预测模式
int i_chroma_qp_offset; //色度量化步长偏移量
int i_me_method; //运动估计算法 (X264_ME_*)
int i_me_range; //整像素运动估计搜索范围 (from predicted mv)
int i_mv_range; //运动矢量最大长度. -1 = auto, based on level
int i_mv_range_thread; //线程之间的最小运动向量缓冲. -1 = auto, based on number of threads.
int i_subpel_refine; //亚像素运动估计质量
int b_chroma_me; //亚像素色度运动估计和P帧的模式选择
int b_mixed_references; //允许每个宏块的分区有它自己的参考号
int i_trellis; //Trellis量化提高效率,对每个8x8的块寻找合适的量化值
int b_fast_pskip; //快速P帧跳过检测
int b_dct_decimate; //P帧变换系数阈值
int i_noise_reduction; //自适应伪盲区
int b_psy; //Psy优化开关,可能会增强细节
float f_psy_rd; //Psy RD强度
float f_psy_trellis; //Psy Trellis强度
int i_luma_deadzone[2]; //亮度量化中使用的盲区大小,{ 帧间, 帧内 }
int b_psnr; //计算和打印PSNR信息
int b_ssim; //计算和打印SSIM信息
} analyse; //编码分析参数
struct
{
int i_rc_method; //码率控制方式:X264_RC_CQP恒定质量,X264_RC_CRF恒定码率, X264_RC_ABR平均码率
int i_qp_constant; //指定P帧的量化值,0 - 51,0表示无损
int i_qp_min; //允许的最小量化值,默认10
int i_qp_max; //允许的最大量化值,默认51
int i_qp_step; //量化步长,即相邻两帧之间量化值之差的最大值
int i_bitrate; //平均码率大小
float f_rf_constant; //1pass VBR, nominal QP. 实际质量,值越大图像越花,越小越清晰
float f_rf_constant_max; //最大码率因子
float f_rate_tolerance; //允许的误差
int i_vbv_max_bitrate; //平均码率模式下,最大瞬时码率,默认0
int i_vbv_buffer_size; //码率控制缓冲区的大小,单位kbit,默认0
float f_vbv_buffer_init; //设置码率控制缓冲区(VBV)缓冲达到多满(百分比),才开始回放,范围0~1.0,默认0.9
float f_ip_factor; //I帧和P帧之间的量化因子(QP)比值,默认1.4
float f_pb_factor; //P帧和B帧之间的量化因子(QP)比值,默认1.3
int i_aq_mode; //自适应量化(AQ)模式。0:关闭AQ;1:允许AQ在整个视频中和帧内重新分配码;2:自方差AQ(实验阶段),尝试逐帧调整强度。
float f_aq_strength; //AQ强度,减少平趟和纹理区域的块效应和模糊度
int b_mb_tree; //是否开启基于macroblock的qp控制方法
int i_lookahead; //决定mbtree向前预测的帧数
int b_stat_write; //是否将统计数据写入到文件psz_stat_out中
char *psz_stat_out; //输出文件用于保存第一次编码统计数据
int b_stat_read; //是否从文件psz_stat_in中读入统计数据
char *psz_stat_in; //输入文件存有第一次编码的统计数据
float f_qcompress; //量化曲线(quantizer curve)压缩因子。0.0 => 恒定比特率,1.0 => 恒定量化值
float f_qblur; //时间上模糊量化,减少QP的波动(after curve compression)
float f_complexity_blur; //时间上模糊复杂性,减少QP的波动(before curve compression)
x264_zone_t *zones; //码率控制覆盖
int i_zones; //number of zone_t's
char *psz_zones; //指定区的另一种方法
} rc; //码率控制参数
//Muxing复用参数
int b_aud; //生成访问单元分隔符
int b_repeat_headers; //是否复制sps和pps放在每个关键帧的前面
int b_annexb; //值为true,则NALU之前是4字节前缀码0x00000001;值为false,则NALU之前的4个字节为NALU长度
int i_sps_id; //sps和pps的id号
int b_vfr_input; //VFR输入。1 :时间基和时间戳用于码率控制 0 :仅帧率用于码率控制
uint32_t i_fps_num; //帧率的分子
uint32_t i_fps_den; //帧率的分母
uint32_t i_timebase_num; //时间基的分子
uint32_t i_timebase_den; //时间基的分母
int b_pulldown;
int b_pic_struct; //强制在Picture Timing SEI传送pic_struct. 默认是未开启
int b_fake_interlaced;
int i_slice_max_size; //每个slice的最大字节数,包括预计的NAL开销
int i_slice_max_mbs; //每个slice的最大宏块数,重写i_slice_count
int i_slice_count; //每帧slice的数目,每个slice必须是矩形
} x264_param_t;
- x264_nal_t:x264_nal_t里的数据在下一次调用x264_encoder_encode之后就无效了,因此要在调用或者使用之前使用它。
typedef struct
{
int i_ref_idc; // Nal的优先级
int i_type; // Nal的类型
int b_long_startcode; // 是否采用长前缀码0x00000001
int i_first_mb; // 如果Nal为一条带,则表示该条带第一个宏块的指数
int i_last_mb; // 如果Nal为一条带,则表示该条带最后一个宏块的指数
int i_payload; // payload 的字节大小
uint8_t *p_payload; // 存放编码后的数据,已经封装成Nal单元
} x264_nal_t;
- x264编码器有关的功能函数:功能函数包括VCL编码和NAL打包,VCL编码函数包括:创建编码器x264_encoder_open()、编码图像x264_encoder_encode()、关闭编码器x264_encoder_close()。NAL打包函数是利用了x264_nal_encode()
//x264_picture_alloc:申请一帧图像空间,需要调用x264_picture_clean释放申请的内存
void x264_picture_alloc(x264_picture_t *pic, int i_csp, int i_width, int i_height);
//x264_picture_clean:释放x264_picture_alloc申请的有关资源,视频结构体是x264_picture_t
void x264_picture_clean(x264_picture_t *pic);
//x264_encoder_open:创建编码器句柄,读入x264_param_t的所有参数
x264_t *x264_encoder_open(x264_param_t*);
//x264_encoder_headers:写SPS和PPS数据
int x264_encoder_headers(x264_t*, x264_nal_t**, int*);
//x264_encoder_encode:编码一帧图像
int x264_encoder_encode(x264_t *, x264_nal_t **pp_nal, int *pi_nal,x264_picture_t *pic_in,x264_picture_t *pic_out);
//x264_encoder_close:关闭编码器句柄
void x264_encoder_close(x264_t*);
文章参考:http://t.csdn.cn/dOUyD