探秘视频编码黑科技,窄带高清2.0视觉模型及场景实战

简介: 本文主要介绍阿里云窄带高清2.0转码的技术原理、视觉模型、应用效果、实战场景等。

“黑科技”这个词已经成为了今年云栖大会的关键词。那么,在我们熟知的视频领域,什么才算是黑科技呢?

我们知道,在通常情况下,视频画质越好带宽费用肯定越高,带宽又是视频服务中占比很高的一项成本,很多开发者都在寻求效果与成本的平衡点。那么,有没有一种技术,能够在保证甚至提高视频画质的同时,降低带宽呢?如果有的话,小编觉得这一点可以算是黑科技了吧。

今天,小编就带大家来了解下刚刚在云栖大会上重磅发布的阿里云窄带高清2.0,看看它是如何超越压缩极限,在视觉效果和带宽成本中找到平衡的。

首先,我们来看一张手机上的视频截图,这是优酷的标清模式,采用了窄带高清的转码技术,分辨率是360P,码率在300K。实际上在人眼感官上,已经达到了540P甚至720P的效果。

5_1

( 本截图只做举例展示使用,版权归版权方所有 )

那窄带高清究竟是什么呢?——一种神奇的视频编码技术

刚刚前文提到,带宽成本是视频服务中非常重的基础设施成本,如何在保证视频质量的前提下降低成本是整个链路中至关重要的一环。所以,在视频服务中,视频的编码和解码是非常重要的技术。

业内的转码技术从MPEG2,到H.264,到H.265大概是下图的技术发展曲线,每隔十年的时间,视频的压缩率会提升一倍左右,平均下来,每年行业视频压缩率能提升只有不到7%。这种客观发展规律之下,视频行业内的从业者给对手造成压倒性的竞争优势已经变得非常困难。

5_2

视频编解码行业的出发点是信息论。所以,行业内视频编解码技术是基于信号失真度最小这一基准来做优化的。在无法逾越视频转码客观发展规律的前提下,阿里云视频转码另辟蹊径,研发了窄带高清技术。简单来说,窄带高清是一套以人眼主观感受最优为基准的视频编码技术。

它有几个关键点:

  1. 能和编码标准的进步垂直发展,效果能够叠加
  2. 能把业界普遍浪费的带宽节省下来
  3. 能把业界普遍处理不好的复杂场景优化
  4. 能让普通观众一眼就能看出画质的效果不同

我们先来了解下窄带高清1.0

过去的一段时间,阿里视频云一直强调可以通过技术来帮助客户节省成本。以优酷为例,我们能达到什么效果,又能节省多少成本呢?

5_3

上表可以看出,老优酷的视频配比是:1080P是3Mbps,720P是1.5Mbps,540P是0.8Mbps,我们可以加以联想,好莱坞大片需要3Mbps,而1080P访谈节目仅仅需要1Mbps就足够了。所以,有一些带宽是被浪费的。使用了窄带高清后的新优酷,有效节省了多余带宽,1080P的平均码率降低到1.6Mbps,720P的平均码率为1.0Mbps,540P的平均码率仅需要0.5Mbps。如此,窄带高清技术每年能够为优酷节省数亿成本,这就是所谓的“窄带”。

那“高清”是什么呢?高清是指能够把业界普遍处理不好的复杂场景做漂亮。实际上,通常所说的“画面太复杂,很难编”是因为码率带宽受限而产生的画面模糊。那码率受限的情况下,通过调整分辨率,窄带高清可以将画面处理的更细腻,提升美观度,让用户体验得以提升。

窄带高清背后有两套视觉模型

5_4

第一套是失真度和主观感受的关系模型,当我们的保真度越来越高,人眼逐渐就没有感受了,所以卡在失真度并没有很大变化的临界点上,就可以适当节省带宽了,如上左图。

第二套是分辨率和码率的关系模型,不同的片子有不同的特征,拿优酷上典型的片子举例:晓说是访谈类节目,画面变化不大,1080P只需要1Mbps;三生三世十里桃花是节奏比较缓慢的电视剧,1080P需要2Mbps;极限挑战这类综艺节目,镜头迅速切换,1080P需要3Mbps,如右图。有了这个模型之后,可以非常清楚的知道该分辨率下需要什么码率去支撑,所以通过编解码器的配置,就能够达到相对优秀的视频效果呈现,并且节省带宽。

在云栖大会视频多媒体分论坛上,阿里巴巴高级专家江文斐也表示:“我们沿着人眼视觉模型这条路接着往下走,省下来更多人眼看不到的信息,减少带宽浪费,于是,我们有了窄带高清2.0”

窄带高清2.0主观及客观测评结果

早在窄带高清2.0在正式发布之前,阿里云进行了一系列测评,具体形式是邀请30位测评者对不同编码器和码率情况下的视频进行主观打分,下图是测评结果。
5_5

左图是1080P编码的RD曲线,横轴是码率,纵轴是主观评分,大体规律是码率越高,质量越好,主观评分越高。我们可以看出,H.264窄带高清2.0在高码率情况下,比H.265表现要好,在低码率情况下,比H.265弱,这两者互有优劣。可以预想,H.265窄带高清2.0应该是和下一代的标准互有优劣的。所以,窄带高清2.0技术,可以提前进入下一代标准,突破了现有转码能力的上限。

换一个维度,右图是跨清晰度的RD曲线,我们来看看在不同分辨率上窄带高清的表现如何。横轴每个点代表不同分辨率,纵轴还是主观评分。同样是1080P,窄带高清2.0主观评分要优于H.264。从横线上对比看,H.264窄带高清2.0的720P和普通H.265的1080P的质量水平相当。所以窄带高清2.0,也可以超越分辨率观感上限,低分辨率的情况下体验高清视觉效果。

同时,除了人眼打分的主观测评外,阿里视频云也做了一些客观的评测,方法是用 VMAF跑了所有视频质量,如下图,得出了和主观测评高度一致的结论,也证明了这个结论的可信度。

5_6

视觉敏感度模型(HVS Sensitivity Model)浅析

上文提到,窄带高清背后的视觉敏感度模型非常重要,那这个模型是如何建立起来的呢?首先,我们需要关注这三点:

1.人眼容易忽视什么?
人眼有聚焦区域,当然也有脱焦区域。脱焦区域就是人眼比较容易忽略的、非敏感的区域,我们可以把这块的处理省掉。除此之外,我们也可以去掉一些没有聚集效应的小细节,以此省掉带宽。

2.人眼关注什么?
除了人眼聚焦的区域外,人眼还关注规则的纹理,这是我们一定要保护的区域,做一些调整优化,让它更加突出,使画面更有张力。

3.人眼厌恶什么?
毛刺、马赛克等模糊的地方,持续的闪动,一定是人眼主观厌恶的内容。将这些细节处理得更平缓、清晰,能提升画面整体观感。

窄带高清2.0实战

我们先来看窄带高清在优酷中的一些应用,以视频网站B上的720P片源为例,优酷用540P的效果可以实现相当的效果,码率则节省40%以上。

5_7
( 本截图只做举例展示使用,版权归版权方所有 )

在游戏直播的场景中,画面的处理相对比较复杂。左图是1080P 2.9Mbps的视频截图效果。使用了窄带高清2.0后,分辨率为720P的视频截图中,可以明显看出画面中的锯齿变得圆润,马赛克变得清晰了。这个案例可以说明,在2.9Mbps的码率下,窄带高清可以匹配最合适的分辨率,并且实现更优的观看体验。

5_8
( 本截图只做举例展示使用,版权归版权方所有 )

在秀场直播场景中,窄带高清2.0可以有效节省带宽。左边是1.2Mbps的片源。右边是600K的处理结果。两相比较,头发更清晰,并且附带美颜效果。

5_9
( 本截图只做举例展示使用,版权归版权方所有 )

当然,除了窄带高清技术之外,阿里视频云也拥有众多行业领先技术,目前已经是国内视频服务体量最大的云计算公司。江文斐在云栖大会上提到:“从阿里视频云诞生以来,我们一直在致力于用自身的技术,去创造一些行业里独有的东西。我们想通过阿里集团多年的技术沉淀,构建不一样的视频云服务,让客户也变得与众不同。”

5_10

了解窄带高清,申请试用

目录
相关文章
|
11月前
|
机器学习/深度学习 编解码 人工智能
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力 NBA赛事超清画质的背后:「窄带高清2.0」技术深度解读(中)
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力 NBA赛事超清画质的背后:「窄带高清2.0」技术深度解读
196 0
|
11月前
|
编解码 算法
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力 NBA赛事超清画质的背后:「窄带高清2.0」技术深度解读(下)
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力 NBA赛事超清画质的背后:「窄带高清2.0」技术深度解读
156 0
|
人工智能 编解码 并行计算
AI黑科技!从此只看高清视频
AI黑科技!从此只看高清视频
AI黑科技!从此只看高清视频
|
机器学习/深度学习 编解码 算法
|
机器学习/深度学习 编解码 人工智能
|
机器学习/深度学习 人工智能 编解码
|
机器学习/深度学习 编解码 人工智能
优酷发布最大工业级超高清视频数据集,超分辨率算法大赛落幕
在这场算法挑战赛上,不仅有刚刚出现在 CVPR 2019 的最新算法,还出现了年仅 18 岁的获奖选手。
753 0
优酷发布最大工业级超高清视频数据集,超分辨率算法大赛落幕
|
编解码 人工智能 数据可视化
超多,超快,超强!百度飞桨发布工业级图像分割利器PaddleSeg
近日,飞桨官方发布了工业级图像分割模型库 PaddleSeg,给开发者带来诚意满满的三重超值惊喜:①一次性开源 15 个官方支持的图像分割领域主流模型,大礼包带来大满足。②多卡训练速度比对标产品快两倍,工业级部署能力,时间节省超痛快。③揭秘包揽了 CVPR2019 LIP 挑战赛人体解析任务大满贯的三冠王 ACE2P 预测模型关键技术,带你一步体验世界领先水平效果。
433 0
超多,超快,超强!百度飞桨发布工业级图像分割利器PaddleSeg
|
Web App开发 存储 编解码
直播平台搭建之音视频开发:认识主流视频编码技术H.264
什么是H.264?H.264是一种高性能的视频编解码技术。目前国际上制定视频编解码技术的组织有两个,一个是“国际电联”,它制定的标准有H.261、H.263、H.263+等,另一个是“国际标准化组织(ISO)”它制定的标准有MPEG-1、MPEG-2、MPEG-4等。而H.264则是由两个组织联合组建的联合视频组(JVT)共同制定的新数字视频编码标准,所以它既是ITU-T的H.264,又是ISO/IEC的MPEG-4高级视频编码,而且它将成为MPEG-4标准的第10部分。因此,不论是MPEG-4 AVC、MPEG-4 Part 10,还是ISO/IEC 14496-10,都是指H.264。