论视音频即时通讯热点技术-阿里云开发者社区

即时通讯至今，技术热点已不再局限在语音方面，视频在2008年北京奥运会的带动下，将成为整个市场最强劲的一次脉动。

据市场预测，即时通讯市场发展周期即将步入健康成长和快速应用阶段。2008年这个市场可能会实现15%的增长，2009年将增长30%。而视频在企业级即时通讯部署中将成为不折不扣的黑马。

传统的企业视频技术包括：MCU、H.323、帧中继等，而基于IP承载网的视频应用，将把更丰富的功能推到用户的面前。但要顺利使用这些功能，用户需要对一些新的技术热点给与更多的关注。

一 LPR：获得稳定的视频流
即时通讯使企业的视频应用和语音、数据同步承载在IP网络上，以视频数据包的形式传输，这不可避免地会遇到网络丢包的问题。丢包会造成视频图像马赛克;图像局部变形、屏幕频繁刷新或闪烁;视音频不同步;帧率下降和图像静止等问题。而在即时通讯的环境下，由于视频、语音和数据流是同步传输的，因此丢包还会造成总体音频失真、间断或间歇噪音，以及对内容演示质量的下降，如模糊变形的幻灯片或者翻页速度变慢等。这些问题将在很大程度上影响使用者的应用感受。如果网络丢包率过大或者过于频繁，还将会使视频通信过度延迟，甚至造成通信中断。

丢包是由企业内部网络拥塞或外部网络优先级流量冲突等原因引起的。要避免丢包，首先要确定承载网的丢包率、丢包随时间的分布情况，以及视频通话中各个终端和设备的性能。

LPR (丢包恢复)技术是当前解决视频传输丢包问题最有效的方法之一，其目的是保护IP视频通话免受网络丢包的影响。事实上，LPR是一种采用前向纠错(FEC)方法对丢失数据包实施覆盖的机制。由发送方系统为发出的数据流添加冗余数据，使接收方系统可以侦测并纠正错误，而无须请求发送方系统重新传送丢失的信息。这种无须等待网络传送就有了进行纠错的能力，使得FEC非常适合于实时通信，如电视广播，IP电话以及IP视频会议。

LPR的工作原理是通过视频终端监控所有正在进行的通话呼入丢包信息。一但检测到丢包，终端就会采用三种手段来保证通话质量：丢包恢复(LPR)，动态带宽分配(DBA)，以及在不支持LPR的情况下，采用传统的视频差错隐消(PVEC)技术。

不同于大多数差错隐消或规避算法只介入接收丢包信息系统的方式，LPR会介入到视频通话中的各级系统中，通过临时将一部分通话带宽分配给一个数据通道，从而用于发送FEC数据给接收系统来发挥作用。在网络传输发生丢包时，通过上述的一个循环处理，LPR就会增加或减少FEC数据通道的大小，直到找到必须分配给FEC数据通道的最小带宽，从而使得接收系统能够恢复所有丢失的数据包。

当FEC数据通道的大小超过标准值时，系统将反复检测是否可以减少FEC数据通道的大小，从而为音频、视频和内容数据提供更多可用的通话带宽。由于LPR只在检测到丢包时才会占用带宽，这一特点使得LPR非常适合随机的或突发性的丢包环境。

而针对丢包率相对固定的网络环境，动态带宽分配(DBA)功能可以与LPR相配合。DBA也是一种算法，可以在视频通话过程中自动且动态地调整视频码率，以消除或避免丢包。例如，在一个384 kbps的视频通话中检测到一个稳定在10%的丢包率，DBA就会降低约10%视频码率，由320kbps降到288kbps左右，然后重新采样信号，观察是否还存在丢包现象。如果有必要，DBA可以进一步降低视频码率，直到在数秒内不再出现丢包为止。

在降低码率后，如果DBA测定丢包为暂时现象，DBA将会逐步增加视频码率。相反，如果DBA持续检测到丢包现象，它就不再调整视频码率，而是将通话继续进行下去。因此DBA适用于由网络过度使用或吞吐量问题引起的丢包环境。

在参与通话的各方系统都不支持LPR的情况下，可以使用视频差错隐消 (PVEC) 功能。PVEC是一种用于IP视频服务质量(QOS)的算法，它可以对由丢包所造成的影响进行补偿。它通过利用相邻的宏块、前帧和后帧来估算出当前视频帧的内容。与LPR恢复丢失的数据包和DBA的避免丢包技术不同，PVEC的作用是掩盖丢包造成的影响。

在此基础上，LPR使用户可以在误码率较高的IP网络上(DSL、有线、卫星、高冲突LAN/WAN等)进行高质量的视频通话，而无须忍受丢包带来的影响。通过对正在进行通话的码率进行临时调整，LPR可以保护视频通话免受短时间网络问题的影响。一旦网络问题解决，LPR会根据发起通话速率或当前的带宽可用性，自动将码率回调到最高水平。这就使网络的带宽可以得到充分的利用，实现丢失数据包的恢复和传输的实时重建，使音视频数据流通畅，排除等待、断续、噪音或信息混乱等问题，更能够减少动态抖动缓冲区空间以及相关的延时。

但使用LPR会生成FEC通道带宽，这使用于视频通话自身的可用带宽减小。在低连接速率的情况下，可能会引起暂时性帧率降低或分辨率的降低。

二还原现场：面对面的体验

使用者对于视频影像的清晰、真实要求是没有上限的。企业视频应用将利用超高清技术，实现还原现场的体验效果。在网络中应用QoS并非新技术，但要在视频承载网上实现流媒体QoS却是一个新的技术热点。企业对视频技术的创新追求是流媒体技术成为应用的主流。流媒体的播放有严格的实时性要求，要求在特定的时间间隔内将特定的数据单元解码显示。而目前流媒体业务开展中存在一些问题，如媒体文件播放中的停顿，马赛克等现象，还有大量用户突发访问一个热门内容时服务器处理困难等等，这些问题都涉及到流媒体的QoS保证。

企业视频由于大多应用于关键业务，而且与语音、数据同步传输，因此对网络传输品质有更高要求。流媒体QoS需要解决两个方面的问题，带宽占用及延迟抖动。

众所周知，视频和语音等统一通信是网络中最耗用带宽的应用之一。带宽的限制一方面会影响到视频播放的质量;另一方面，由于流媒体应用消耗带宽大，会与网络中的其他业务争用带宽，从而对这些业务的正常操作造成影响。

另外，IP网络对视频数据的分组存储转发机制决定了延迟和抖动是不可避免的，所以对流媒体传输而言，端到端的延迟应该控制在一定范围之内。流媒体QoS采用了先进的视频编码方案，在提高视频数据压缩效率的同时，尽可能消除视频中的冗余信息，使得信源编码输出的数据量尽可能少，从而适应网络最低传输带宽的情况。同时，可以提供灵活的视频质量分级来最大限度地适应网络的动态特性，尽可能为用户提供好的视频质量。

可扩展性编码技术增加了编码输出码流，适应网络带宽动态变化的灵活性，将多媒体数据压缩编码成多个码流。其中一个可以独立解码，称为基本层码流，其他的码流称为增强层。它们不可以单独解码，而只能与基本层和它以前的增强层联合在一起解码，用来提高观看效果。
三状态呈现：实现透明通信

提到状态呈现(Presence)，首先想到的是QQ、MSN等即时通信(IM)应用。
视频已经实现了通信双方的面对面沟通，还需要预先了解其状态信息吗?

答案是肯定的。特别是在与企业业务流程实现融合的视频通信中，Presence技术与视频的结合将成为一个新的重点技术。事实上，在企业运营中，各个业务流程基于统一通信发起和执行的过程，可以很好地利用状态服务实现对话双方的透明通信。

Presence用以传达用户状态以及用户通过一组设备进行通信的能力，如：联机、忙碌、离开、脱机等状态。这些状态信息反映出与该用户与其他用户实现通信的可能性。

一个最简单的Presence过程如下：一个用户(Watcher)订阅(SUBSCRIBE)他感兴趣的另一用户(Presentity)的Presence状态，Presentity接受订阅请求。以后当Presentity的状态发生变化之后，他会发布(PUBLISH)自己的新状态，这个新状态会通知(NOTIFY)给Watcher。

从系统的角度来看，视频前端设备与IM系统中的用户有很多相似之处。比如，系统应时刻了解各前端设备是否已登录到系统;是否正在被用户访问，以及被哪些用户访问等等。

四协议兼容：在混合中统一

除了视频应用本身的技术热点外，在企业中，除了应用和部署一套IP视频系统，并要实现与语音、数据通信平台的“统一”，以及与企业经营决策的各个业务流程相互融合与嵌入，还要面对跨网络互通、跨功能互操作和跨设备通信的诸多问题。

理论上，视频可以为企业运营各个环节提供多种多样丰富的服务，从最常见的会议、监控到播放、通信、移动等端到端的交互功能。以视频为带动，在统一通信的架构下，企业可以构建自己开放的、性能完善且功能强大的信息交流系统。但这也带来了另一个问题，就是针对于不同的应用，可能有不同的协议和标准，这些标准、协议如何在同一个基于IP的统一通信承载网上实现兼容。再加上企业在部署自己的视频通信系统时，对硬件设备和软件系统有不同选择，那么能够构建一个支持丰富的协议和兼容多种标准，以实现在单一网络环境中提供更多应用功能的综合性平台，就成为企业在视频部署中最常面对的技术难点之一。

视频应用具有非常丰富的底层标准和协议，大致可以分为硬件设备的协议和软件视频应用协议两大类型。在实际应用中，用户在使用视频会议或者监控、通信等服务时，构建一个统一的通信平台，使得各种应用能够融合统一。避免设备、应用间不能互通、协作的问题是实现企业统一通信非常重要的门槛。例如，同时支持 3G、H.323、SIP和Wi-Fi、WiMAX等协议之间的互通等，用户可以根据自己需求灵活组合。通过底层协议融合的方式，支持不同网络协议的混合，实现对多种最终应用简化的思路。

企业希望获得高品质、高清晰和高度简化的视频技术，并将其应用在所有需要交流和沟通的领域，如通话、会议、谈判、培训、监控，甚至远程医疗。利用这些技术，通信者不再需要地理位置上的“贴近”，因为网络代替了巨大的物理空间距离。未来我们只需要坐在屏幕前，就能在“虚拟的现实”中享受真实的、所有的沟通方式。

AnyChat 是佰锐一款通用即时通讯、视频会议开发平台，可以实现一对一、一对多以及多对多等多种模式下的语音、视频以及文字的交互，通过与平台的集成，可以实现平台中任意两个用户之间的一对一通讯，也可以实现平台中多人的视频会议功能，实现平台与视频会议功能的完美融合，为企业提高办事效率，节约开支。随着技术的不断升级，佰锐科技在音视频即时通信领域的不断创新。更让我们进入一个全新的业务领域！以知识为基础，整合市场和技术，实现网络信息时代的飞跃成就！