当前位置: 首页 > 太极理论 >
腾讯音视频实验室杰出科学家刘杉:AVS已经成为编解码领域不可忽视的力量
时间:2019-01-14 12:14 来源:网络整理 作者:我是逗比我比你逗 点击:

原标题:腾讯音视频实验室杰出科学家刘杉:AVS已经成为编解码领域不可忽视的力量

2017年12月28日,由腾讯社交网络事业群(SNG)主办TSAIC学术&工业交流盛会在腾讯滨海大厦举行,150余位来自麻省理工、斯坦福、卡耐基梅隆、清华、中科院计算机所、微软研究院等海内外知名高校、研究所的学者和研究员受邀出席。

腾讯音视频实验室杰出科学家刘杉作为主讲嘉宾出席此次大会。在会上,她分享了视频编解码领域技术介绍和编码标准变迁。她说近些年中国的数字音视频编解码技术标准工作组(AVS)做得越来越好、越来越强大,现在是完全不可忽视的一个力量。

以下是刘杉演讲全文。

image.png

非常高兴也非常荣幸来到这里跟大家做一个分享。我今天分享的主题是“视频编解码和标准化”。

在分享之前,我简单介绍一下我自己。跟刚才两位嘉宾的背景稍稍不一样,我是来自工业界的博士,之前在一家公司工作过,做过研究、也做过产品。如果在座有同学想了解一下博士在工业界的心路历程,欢迎大家找我分享。

我们有视频编解码的传输,也包括前处理和后处理等等比较宽泛的项目,近几年我们聚焦在视频编解码的制定标准,也是今天我跟大家分析的内容。我大概在上个月加入腾讯的音视频实验室。

言归正传,今天分享的主题包括两个部分,一个部分是标准,另外一部分是编解码。

我先讲一下视频编解码的国际标准,后面花一点时间讲一下音视频实验室的成果和场景。

我觉得知道为什么要做一件事对任何一个项目来说都是至关重要的。之所以要做视频这件事,因为视频的数据量是非常非常大的,大到什么程度呢?举个简单的例子,有一部电影,这个电影是两个小时的电影,视频编解码背景的同学可不可以告诉大家,这个视频如果不压缩是多大?

我们大家一起来做一个快速算术,1980×1080,2小时20分钟,如果不压缩是3BT。如果我们买一个移动硬盘。你的手提电脑,如果不压缩,大概可以装两部这样不压缩的电影。如果不压缩,我们需要传输的带宽是很大的。我花了一分钟的时间来做这个数学,这件事情不是重要的,而是必要的。一件事情如果是必要的,我们就要去做。

我们要了解什么是视频。简单讲,视频就是一组图片,但是它不是一组单独的图片,而是有运动关系的图片,我们要抓住两个点,运动关系和图片。

基本上基于这两个基本点可以分两类,一类是针对图片压缩的,另外一类是运动路径、运动补偿和一些相关技术。

我们对色度做一个处理,这件事对博士来说完全没有什么技术含量,下面有技术含量的是transform,我们在这里面最常用的是DCT,最近的标准里面也开始引入了DST。还有其他的一些还在探讨之中。

右上角是Example quantization matrix,我们做压缩的看到这个会很兴奋,因为我们看到很多很多的0,看到后面的数据我们会更加兴奋,因为会有更多连续的0,这是为下一步做准备。下一步是Entropy Coding,是一种无损压缩方式,可以把这个压缩的更小。

刚才分享了几种针对图像压缩的技术,我们可以有一个最简单的架构图,这张图是就是最简单的架构图。

我们又回到刚才讲的什么是视频,视频就是运动关系和图片。图片方面我们已经讲了,下面我们要看一下运动关系这部分。

我们真正在做编解码的时候,不像很多领域那样做的,在主流的里面我们还是用块状的方式,所以对于运动补偿方面有很多相关技术,比如说预测单元的划分,运动矢量图本身的划分,我们真正在标准制定的时候,关于运动补偿的这一大块,通常都是划分成很多个小的技术分组来具体讨论它相关的各个运动子级、技术子级和细节。

通过刚才图片压缩和运动关系的分析,我们可以得到一个简单的示意图,我们可以看到它包括了压缩模块、运动补偿模块。

刚才给大家看的是最简单的,是我们之前的,经过这二三十年的努力和变化,现在就变得好了很多,有更多模块,也有更多技术细节。这是近期HEVC和H.265的Video Encoder,待会儿我会再详细讲这个标准。

花了几分钟时间,在座各位已经是视频编解码的专家了,我们可以讨论下一步了。

我们讨论Video Coding Standards,如果没有一个出入口或者大家都接受的密码本这样的东西,Apple、Orange就没有办法进一步的分级出来,这就是我们需要全世界人民都接受的标准。