SIGGRAPH（Special Interest Group for Computer GRAPHICS）是计算机图形和交互方向的一个顶会，由国际图形图像协会（ACM SIGGRAPH）举办，是世界上影响最广、规模最大，同时也是最权威的一个集科学、艺术、商业于一身的CG及互动技术展览及会议。2008年开始每年11月在亚洲举行SIGGRAPH Asia。今年12月04日，腾讯音视频实验室携丽影平台亮相日本东京SIGGRAPH Asia 2018。
丽影，基于人眼视觉标准的视觉处理平台
丽影平台是腾讯音视频实验室推出的基于人眼视觉标准的视频处理平台，将人眼视觉标准应用视频处理服务的七大模块：分析，理解，修复，增强，编码，传输，评估。每一个环节都以人眼视觉最优为目标。从而实现：
· 省带宽 - 人眼视觉最佳压缩。在人眼无感知情况下尽量压缩视频体积。
· 变清晰 - 视频修复增强。在更小的视频体积条件下，实现视觉上比原始视频更清晰的效果。
丽影是怎么做的
人眼视觉的特性是很奇妙的，我们都看过魔术表演， “所有的魔术，都是通过并利用我们感觉的缺陷或者盲区达到神奇效果的”。人眼会忽略一些信息，也会特别的关注某些信息。这些特性将会帮助我们实现体积更小、更清晰的视频魔术。
通过机器学习技术，自动找出视频中人眼感兴趣的部分（标为红色）：
然后将视频分成人眼关注区域和非关注区域分别压缩
· 对人眼感兴趣的关注区域，在压缩过程中尽可能多的保持细节；
· 对于人眼不太关注的区域，可以注重保留人眼喜好的结构和线条，抹除视频播放时被人眼忽略的纹理细节。经过针对人眼关注特性的分别处理，丽影平台可以在大幅压缩视频体积的同时，让视频的画质观感变得更好。
同时融合多种视频增强技术，提升视频感官质量。
· 去除可见噪点、低照度增强、去抖动、锐化增强、超分增强（SD->HD 2K->4K）
· 去除原始编码失真、去除毛刺、去除锯齿、帧率上采样、去除运动模糊、HDR
因此经丽影平台压缩处理后的视频，人眼的画质观感不但不会变差，反而可以超越源视频，达到视频修复增强的效果。
左边是原始视频截图，右边是丽影处理后的视频截图。可以看到经过丽影平台的处理，明显更加平滑。
丽影的处理效果
总的来说，基于对人眼视觉的评价标准，丽影像一个视频魔术师，让视频在压缩体积的同时，感官上却更加清晰更舒服。以下一些示例视频，左边是原始视频，右边是丽影处理后的视频：
视频1：压缩了约78%的体积，却在人眼感观上更清晰 (原始:58.5MB，丽影:12.7MB)
视频2：压缩了约84%的体积，却在人眼感观上更清晰 (原始:118.3MB，丽影:18.5MB)
丽影的特性，非常适合当下源视频质量参差不齐的互联网短视频时代。它集成了音视频实验室领先的编解码技术、AI技术、主客观视频质量评估技术、视频增强技术等。已应用于腾讯微视等多个腾讯内部产品。还会陆续承载精彩视频识别、声鉴、场景识别等领先技术。
欢迎合作交流
邮箱：medialab@tencent.com
公众号：TencentAVLab
