2018年多媒体技术圈年终事件大回顾

2022-03-22 15:11:53 浏览数 (1)

先从一月开始 1.新年伊始,直播答题还火热的很,各厂商密集宣传自家的直播答题技术,好不热闹。 一年过去了,还有人在玩直播答题吗?

2.2017年google发布了RAISR算法,超分辨率这一话题在多媒体技术圈里迅速火了起来,以往还只能在学术圈听到的名词,开始在各种行业论坛上频繁出现。 一月初,腾讯音视频实验室和微信团队分别介绍了他们的视频超分辨率技术,让我们看到了国内巨头对这项技术的实际应用。

3.在视频编码领域,一月份也有几件大事发生 首先是Apple加入了AOM联盟,助力AV1的发展。 然后MSU发布最新研究结果表明,仅考虑编码质量时,AV1的性能已胜过HEVC和VP9,就是编码速度“慢”了点。 一月的最后一天,北京大学数字视频编解码技术国家工程实验室开源了AVS2高清实时编码器。

开源编码器们玩的热火朝天,MPEG也没闲着,召开了The 121st MPEG meeting,会议的内容不甚新奇,有趣的是会议刚开完,MPEG的创始人兼主席Leonardo Chiariglione老先生就发了篇博客,直言AOM给MPEG带来的冲击。老哥,稳!

然后我们愉快的进入二月,海内外华人华侨喜迎春节,多媒体技术圈也不如往日热闹 1.这个月最值得关注的可能是vlc 3.0.0 "Vetinari"版本的发布,作为三年来第一次大版本更新,这次vlc带来的更新内容有

默认启用硬件解码 支持 10bits 和 HDR 支持 360° 视频和 3D 音频 支持高清音频编解码器的音频直通 (audio passthrough) 可以流式传输视频到 Chromecast 设备 可播放 Blu-Ray Java menus: BD-J 现已支持浏览本地网络驱动器和 NAS 针对 iPhone X 的优化

总结起来,这次更新后的vlc更适合在移动平台上使用

2.Netflix发文介绍了AVA,这是一套可以智能选择视频封面的算法和工具集。又抢了运营同学的饭碗。

3.我最喜爱的开源播放器Exoplayer本月更新到了2.7.0,添加了Google Cast支持。

三月属于Netflix,疯狂输出三篇雄文 第一篇文章介绍Dynamic optimizer — a perceptual video encoding optimization framework,又一次向我们展示了海外巨头技术体系的完整性。早在2015年,netflix当时推出了per titile encoding方案,随后的几年中,netflix又在per titile encoding方案的基础上研究了Per-Chunk Encoding和Shot-Based encoding方案,让编码优化的粒度更加精细。鼎鼎大名的VMAF视频质量评价方法也诞生于这段时间。到了2018年,将以往这些成果综合到一起,就诞生了所谓的Dynamic Optimizer。

第二篇文章介绍了Dynamic Optimizer在实际部署中遇到的问题和最终达到的效果,如下

第三篇文章Using Machine Learning to Improve Streaming Quality at Netflix更进一步,向我们介绍如何利用机器学习技术提升流媒体传输质量,文章偏综述性质,但也给我们很多启发。

在Netflix的三篇雄文之外,AV1也很有存在感,三月28日,AOM终于“announced the first version of AV1”

四月开始 1.首先是NAB2018大会,NAB本是广电圈技术人士的盛会,今年也首次开设“Streaming Summit”栏目,象征着广电圈与流媒体圈的“大团结,大融合”~ 今年的NAB上,我最喜爱的广电设备品牌BlackMagic发布了新款Pocket Cinema Camera,小小的机身依然蕴含着大大的能量,支持4K/60fps视频的拍摄。

2.刚刚1.0定稿的AV1自然也在NAB上大放异彩,吸引了很多人的关注。不仅如此,在NAB会议之后,四月17日爱奇艺宣布加入AOM。四月底,Facebook开始实际应用AV1。

3.四月20日,FFmpeg 4.0.0正式发布,代号 “Wu” ,重点更新如下,其中也包括对AV1的支持:

Bitstream filters for editing metadata in H.264, HEVC and MPEG-2 streams Intel QSV-accelerated MJPEG encoding NVIDIA NVDEC-accelerated H.264, HEVC, MJPEG, MPEG-1/2/4, VC1, VP8/9 hwaccel decoding Intel QSV-accelerated overlay filter OpenCL overlay filter support LibreSSL (via libtls) Removed the ffserver program Add android_camera indev AV1 Support through libaom Haivision SRT protocol via libsrt

4.同日,The 122nd MPEG meeting结束,为新一代视频编码标准定名为Versatile Video Coding,主要目标是改进现有HEVC,提供更高的压缩性能,同时会针对新兴应用(360°全景视频和HDR)进行优化。VVC预计在2020年之前完成标准化,目前提出的方案相对于HEVC提高已经达到40%以上。

热闹了一个月之后,五月的多媒体技术圈又消停了一点 首先是我最喜爱的开源播放器Exoplayer更新到了2.8.0,添加了诸多downloading相关功能。

然后Netflix公布 research.netflix.com, 终于有了专门秀肌肉的地方。

最后是Vimeo加入AOM。

没了。

五月的消停是暴风雨前的宁静,因为CVPR2018在六月登场。 学术大佬们想必早已读过了精彩的文章,甚至亲临会场念了ppt。 想走马观花地知道学术圈又搞了什么大新闻的朋友可以看这篇文章CVPR 2018:十大最酷论文 小弟不才,只抽时间认真读了两篇文章,分别是和视频质量增强以及超分辨率有关的内容,简介看这里和这里。

在CVPR上,nVidia介绍了他们开发的基于深度学习的视频高帧率转换系统,效果非常震撼,推荐观看。

CVPR之外,六月还有一件大事: 六月7日,继AVS2视频部分2016年底颁布为国家标准后,我国第二代数字音频编码标准《信息技术 高效多媒体编码 第3部分:音频》(简称AVS2音频标准)由国家市场监督管理总局和国家标准化管理委员会颁布为国家标准。

七月到了,nVidia和MIT、阿尔托大学联合开发的全新AI照片系统Noise2Noise突然火了,它可以将噪点满满的照片恢复到臻于完美的水平。一般用深度学习方法进行图像去噪的时候,都需要大量的训练图像样本对,即带有噪声的图片和去噪后的图片,可是在Noise2Noise中却提出了一种不需要无噪声图片作为标签的去噪方法。方法非常有意思,效果也很惊人,如下

除此之外,七月还有几件事 1.金山云加入AOM 2.The 123rd MPEG meeting召开 3.ICME 2018学术会议举办,虽然不如CVPR,但也有值得一读的文章

八月的主题是BIRTV2018北京国际广播电影电视展览会,国内广电人的盛会。 索尼 8K 摄像机中国首秀,解决了 8K 片源的问题

显示端,索尼还展示了巨型 8K Crystal LED“黑彩晶”显示屏。4K还没普及,8K已经来了。

转眼到了九月 1.九月初,MSU(莫斯科国立大学)公布了2018年视频编码压缩大赛的结果,华为、腾讯、Intel和金山排名居前。

2.全球最具影响力的媒体、娱乐和技术展会(其实就是欧洲广电展)IBC2018召开,AV1自然也没有错过这一次的展示机会。同时Youtube开始测试AV1,并且阿里云也加入了AOM。

3.Bitmovin发布2018 Video Developer Report,可以看到

在2018年,H.264/AVC仍在video codec领域占据绝对优势,使用率为92%。而H.265/HEVC相比2017年有了进一步的增长,使用率为42%。同时,AV1也在快速成长,预计下一年的使用率会达到29%。 Apple HLS和MPEG-DASH仍是Streaming formats领域的主力,过半的受访者都在使用这两种协议。 HTML5目前在OTT平台上使用较为广泛。 数字版权保护DRM正逐渐被广大开发者所接受和采用。

4.做OTT平台的朋友可能知道Netflix认证,也就是说想要在你的设备里安装Netflix,先要通过Netflix制定的一系列测试才行。现在强势的Netflix把触角伸向了视频生产源端,成立了Netflix Post Technology Alliance,对摄像机、剪辑工具、调色工具、编码工具都搞起了认证,通过了认证的设备才能拥有下面的标志,表示使用这些设备制作的视频能满足Netflix的技术指标。Adobe Systems, Arri, Avid, Blackmagic Design, Canon等公司的产品都已经通过了认证。

最后是我最喜爱的开源播放器Exoplayer更新到了2.9.0,添加了VR支持。

十月颇为热闹 1.国庆当天,以“ be small, be as fast as possible, be very cross-platform, correctly threaded, libre and (actually) Open Source”为目标,VideoLan发布了开源AV1解码器Dav1d。

2.接下来召开了学术会议ICIP2018,上海交大的一篇图像鉴黄的论文受到了很多报道,但我觉得最实用的还是这篇《ENHANCING PRODUCT IMAGES FOR CLICK-THROUGH RATE IMPROVEMENT》,一个日本团队做的,很有意思的一个项目。简而言之,就是优化图片来提升商品的用户点击率,多么适合用在淘宝上啊,效果如下

3.The 124th MPEG meeting召开,VVC working draft 3 and test model 3 has been issued

4.Demuxed会议召开,会议亮点参见这里,会议内容基本还是那点东西:Per-Title编码,移动设备的主观视频质量评估,VideoLAN介绍了Dav1d,Akamai介绍了CMAF

5.月底,Netflix又输出了一篇雄文VMAF: The Journey Continues,介绍了VMAF的业界应用现状,改进的内容和Best Practice

十一月是收礼的一个月

刚刚十一月2日,NASA就给我们带来了一份大礼:从太空拍摄的8K影像。虽然一般人的网速根本看不了8K,但这仍然是十一月最浪漫的事情啊~

随后,FFmpeg 4.1 “al-Khwarizmi”版本发布,亮点包括支持MP4容器中的AV1编解码器,用于解析AV1编码流的AV1解析器,基于传输层安全性(TLS)的mbedTLS支持,SER解复用器以及作为基于DNN的过滤器(如srcnn)的libtensorflow后端。也算是一份“大礼”吧~

紧接着,Microsoft 发布 AV1 Video codec for Windows 10,给Windows用户送上了一份小礼物。

最后,OpenCV 4.0发布,距离OpenCV 3.0 发布已经过了三年半的时间,加强了对深度神经网络的支持,并且更彻底的支持c 11。这是已经走过了近 18 个年头的OpenCV送的一份“大礼”~

年底了,海内外都在欢度圣诞,没什么大新闻 这个月最酷炫的当属nVidia,月初发布的这个通过AI技术并结合游戏引擎实时生成虚拟视频的方案实在是帅到没朋友,帅到连微博上的营销号都在转发了。

十二月9-12日,VCIP2018会议召开。

年底的最后一个新闻是28日,vlc发布3.0.5版本更新,添加了AV1解码器。

回望2018年的多媒体技术圈大事件,基本都围绕着AV1和AI展开,给我们清楚地展示了未来的方向。尽管都说今年是困难的一年,但我们依然看到了技术的蓬勃发展。多媒体技术已走过千山万水,但仍需跋山涉水,在这个千帆竞发、百舸争流的时代,每一个技术人都绝不能有半点骄傲自满、固步自封,也绝不能有丝毫犹豫不决、徘徊彷徨,必须勇立潮头、奋勇搏击。如此,相信2019年会更美好~

0 人点赞