论唱歌还是服清华,「云」合唱献礼校庆,延时不到50ms

简介: 云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 几个月没去KTV跟朋友嗨歌,在座各位麦霸是否已技痒难耐? 那么,你是否有过这样一种大胆的想法—— 借助现下用户量蹭蹭蹭往上涨的视频会议软件,远程K歌? 那么,问题来了,就视频会议软件那延时,当一场视频会议里有人跟你在同一个办公室坐着,那双重混响谁用谁知道,K起歌来体验未免有些差劲。

云栖号资讯:【点击查看更多行业资讯
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!


几个月没去KTV跟朋友嗨歌,在座各位麦霸是否已技痒难耐?

那么,你是否有过这样一种大胆的想法——

借助现下用户量蹭蹭蹭往上涨的视频会议软件,远程K歌?

那么,问题来了,就视频会议软件那延时,当一场视频会议里有人跟你在同一个办公室坐着,那双重混响谁用谁知道,K起歌来体验未免有些差劲。

但在清华校庆之际,清华教师阿卡贝拉小唱组的老师们,还真献上了上面这一场“云上实时合唱献礼清华校庆”活动。

1

并非事先各自录制,而后剪辑实现。这6位老师是在各自家中,利用普通网络和普通手机,同一时刻一起远程合唱。

不得不说,论唱歌还是服清华,前有李健水木年华高晓松等知名“音乐”校友,现在还通过技术实现云合唱。

那么这项技术,究竟有啥过人之处?

超低延时音视频互动技术

前面提到,视频通话、视频直播中尚可接受的几百毫秒延迟,对于实时合唱来说却是致命的。

如果双方的人声、伴奏延时高于100ms,唱的拍子就会合不上。

因此,在此前被众多网友称作“有生之年系列”的One World:Together At Home网络音乐会上,受限于歌手们时差、现场收录条件、网络条件的差异,为了保证演出效果,大部分合唱表演其实是提前录制好的。

2

正如著名音乐电台DJ,SoundArio音乐基金会创始人加菲众所评价:“0.17秒的延迟足以低效全世界顶级音乐人的现场功力。”

而清华老师们这场精彩的阿卡贝拉,即无伴奏合唱,对演唱者之间的相互配合要求极高,单向延时超过50ms,或者声音断断续续、忽大忽小,就会造成歌者之间的互相干扰。那就不是美妙和声,而是灾难现场了。

所以,这场表演是如何实现的?

老师们借助的,是超低延时音视频互动技术,能使单向音视频延迟低于50ms

而技术的提供方,正是从清华园走出来的技术团队——清流鼎点(PowerInfo)。

3

音视频互动涉及编码、传输、转发、解码等多个环节,各个环节又分为多个模块和层次。清流鼎点的iLive方案将其视作一个整体,进行全栈综合优化。

其中的重点,是在音视频的编码和传输环节。

iLive方案建立了从评估、预测到调整的延时、流畅及质量三要素模型,并针对不同场景,进行基于大数据的算法和策略优化。

涉及的技术细节包括:

  • PTCP传输协议:基于UDP(用户数据报协议),在充分理解传输内容的基础上,实现的专门用于实时音视频的协议,具备优先级、jitter、RC、重传、FEC等多种控制手段。
  • ARRC:支持基于传输信道状态对编码及播放策略的控制,依据海量数据的分析,并根据不同场景QoE模型,采用不用的控制策略。
  • Multi-Path多径传输技术:在PTCP协议内部实现Multi-Path传输机制,支持主/从、并行等不同的传输策略,支持基于对不同信道状态实时监测的Packet粒度的动态选径策略。

也就是说,能够同时利用多个网络(比如WiFi和4G)传输数据,降低单个网络的传输不稳定性,从而降低卡顿率,提升音视频通讯体验。

目前,这一技术方案已实现在1%丢包率下,码率4Mbps音视频延迟最低达42ms,卡顿0.2次/分钟。

也就是说,普通家庭网络接入,只要丢包率不超过1%,就可以体验超低延时合唱啦。

并且,该技术已经在清流鼎点推出的直面app上应用。据官方介绍,可以满足线上教学、视频会议,乃至实时合唱、在线乐队排练等场景需求。

如此效果,也给未来的线上互动场景提供了更多可能性,比如在AR/VR游戏中的应用,在远程医疗领域的应用……

清流鼎点:生于清华,长于清华

最后,简单介绍一下清流鼎点。

清流鼎点的创始团队,全员毕业于清华计算机系。在视频编码及传输领域有近20年的持续积累,从事过国内首批电信级VOD、IPTV系统、广电级高质量视频编码器等开发工作。

其合作客户包括:央视、映客直播、Starmaker、dokidoki等等。

4

自2008年起,清流鼎点旗下公司累计为中国用户大规模地提供过3次奥运会网络直播、2次欧洲杯和1次世界杯的网络直播,以及4届央视春晚网络直播,在网络直播视频传输领域积累深厚。

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/live

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间:2020-05-14
本文作者:鱼羊
本文来自:“量子位公众号”,了解相关信息可以关注“公众号 QbitAI”

相关文章
|
11月前
|
编解码 边缘计算 人工智能
|
算法 机器人
有腿又有轮,还会「拜年讨红包」!腾讯发布首个全自研机器狗Max
腾讯正式发布首个软硬件全自研的多模态四足机器人。让我们来看看这条狗,有多与众不同?
135 0
有腿又有轮,还会「拜年讨红包」!腾讯发布首个全自研机器狗Max
倒计时1.5小时 直击阿里双十一作战现场
倒计时1.5小时 直击阿里双十一作战现场
倒计时1.5小时  直击阿里双十一作战现场
|
机器学习/深度学习 存储 算法
全家要用机器人上货了?!50公里外VR操控,延迟不到一秒,网友:不愧是你,霓虹
全家要用机器人上货了?!50公里外VR操控,延迟不到一秒,网友:不愧是你,霓虹
132 0
|
存储 弹性计算 Kubernetes
【云栖号案例 | 互联网】跨年演讲《时间的朋友》如何扛得住百万级流量冲击
罗辑思维采用阿里双11备战核武器 - 全链路压测规划系统容量,不到三个月进行约七百次的单链路压测、十六轮完整形态全链路压测,吞吐量提升百倍。
|
搜索推荐
免费下载 | 你和爱豆的演唱会之间,隔着这些“黑科技”
热爱话剧相声演唱会的你,一定也经历过在大麦抢票时的激动吧!但你是否想过,是哪些技术支撑着你在10万+座位中“纠结”,或是让你体验刷脸入场的便捷呢?《阿里文娱在线票务技术大揭秘》告诉你!
2495 0
免费下载 | 你和爱豆的演唱会之间,隔着这些“黑科技”
|
Web App开发 边缘计算 缓存
停课不停学,优酷直播如何将网课点名延迟降到0.6s?
受疫情影响,各中小学校延迟开学,优酷宣布发起“在家上课计划”,为无法到校教学的老师们提供免费的直播授课工具,直播课程将于2月10日开始陆续上线,在直播过程中如何提升和保障流畅的互动体验?优酷直播流媒体团队做了低延时流媒体技术的探索实践,实现了在用户体验不下降的基础上,让主播与主播延时<300ms,播与粉丝延时<600ms,解决了直播间各类互动问题。接下来,阿里文娱的乾戒将具体介绍探索过程。
1415 0
停课不停学,优酷直播如何将网课点名延迟降到0.6s?
|
边缘计算 运维 物联网
爱豆在北京开演唱会,我在杭州要如何与他实时互动?
如果你的爱豆在北京举办演唱会,并做4K高清直播(服务器在上海),演唱会上专门为粉丝设置了一些互动环节,例如抽奖送签名照、答题送爱豆周边等。那么遍布在全国各地的观众该如何与他实时互动? 很显然,因为网速、带宽等问题限制,各地观众的网络时延会存在明显差异。
2530 0
爱豆在北京开演唱会,我在杭州要如何与他实时互动?