强化学习处理自适应码流播放,爱奇艺AI推荐提升观看率15%

简介: 5月18日,爱奇艺世界·大会智能视频高峰论坛召开,爱奇艺CTO刘文峰向世界展现了AI在爱奇艺的全貌。新智元创始人兼CEO杨静女士作为论坛特邀主持人,主持圆桌论坛环节,对话重量级嘉宾,探讨AI技术如何在视觉、听觉、创作、体验上带来颠覆性升级。

AI已经深入到爱奇艺所有生产、运营领域

5月18日爱奇艺世界·大会智能视频高峰论坛上,爱奇艺CTO刘文峰向世界展现了AI在爱奇艺的全貌,从创作、生产、标注到分发、播放、变现等,AI贯穿爱奇艺的每一个流程。

6c76a9e4e23557432bf661d476a6f97c3224eeae

在会上,Akamai全球解决方案副总裁Dev Gupta介绍了在线视频行业发展中面临的挑战,hulu全球副总裁诸葛越介绍了AI视频应用的现状和未来。

新智元创始人兼CEO杨静女士作为论坛特邀主持人,主持圆桌论坛环节,对话重量级嘉宾,探讨AI技术如何在视觉、听觉、创作、体验上带来颠覆性升级,诠释AI娱乐的内核。

刘文峰:智能明星库纳入超2万明星,强化学习处理自适应码流播放

刘文峰认为,AI娱乐包括智能、交互、开放三个部分。
958f9ccb072e8b06dfb6ef866142051060ec996f

爱奇艺CTO刘文峰

智能又包括创作智能化、运营智能化、体验智能化。具体来说:

5857b724e4188a97a471f510209a2bb11b025082

智能明星库:简单地理解就是明星的数据库。数据库不只是包含明星的信息,爱奇艺海量的数据里挖掘每一个明星不同的表现,通过人脸识别,可以将明星的表情、情绪、行为、着装以及演不同类型内容的信息汇聚在数据库中。目前,在数据库的明星已经超过两万位。

8812dff72e43181caa7b29b3a5de4f0171e1c446

智能明星库可以不断地扩展,机器可以将明星所有的片段找出,爱奇艺有“只看TA”的产品,通过机器将明星的镜头摘出来,用户只需要看自己喜欢明星的镜头就可以,不需要把整个视频全部看一遍。

同时爱奇艺对全部的视频做人脸处理,分析后可以计算出每一个明星在每一天曝光的时长有多长,曝光的时长越长,意味着热度越高,这就是大数据+AI计算的价值。

智能选角:选角系统主要针对的是选配角。通过人工智能信息提取的技术,将非结构化的信息处理成可以用于挑选的标签,称之为角色标签。再通过爱奇艺大脑AI技术到海量视频里挖掘每一个明星的特点,特点能够形成艺人标签。加上经纪人对他的定义和描述,以及专家对他的定义和描述也会形成(艺人)标签。这两类的标签通过匹配可以得到一堆候选者。

d996aabbf2b156548693c9197adcbbbee814f46b

将候选者放在一块,同时又经过AI将所有侯选者演过剧的片段挖取出来,在不同维度的比较,AI可以很清晰地进行选角,选角导演的时间可以节省

智能生产:包括情节场景分析和智能剪辑等。把长视频拆成非常多的小场景,每一个场景可以拆成镜头,然后对这些镜头做非常准确地标签,实现整个视频从非结构化、不可描述的信息变成机器可以理解的可描述的信息。

这些数据信息可以用于裁成短视频,从而实现智能剪辑。智能剪辑有重要的应用场景——封面图。用AI将视频内部的精彩镜头找到,并且将它放在海报上,收视率会大幅度提升。大家一看就知道是什么类型的视频,里面有怎样的镜头。

智能推荐:爱奇艺私人影院会根据观影记录给推荐用户没有看过的,可能最想看的电影。私人影院上线以后,观看提高了15%。短视频联播是另外一套推荐的方式,电影的喜好和短视频喜好不一样,短视频联播的推荐和用户的习惯有很大的关系,给用户做短视频联播以后发现播放时长大量增加。

体验智能化包括三方面。

8K VR串流播放。因为VR看的视角有限,通过编码技术和传输技术,使得用户在任何时刻看到内容都可以提前准备好;通过应用预测的技术,来预测用户头部的变化。当用户头转向一个方向的时候,会提前将数据准备好。

5433d44a64d9ebda8db60c867df183ba138d56f9

AI ABS自适应码流播放,能够判断网速的变化从而选择最适合播放的码流。这个功能时利用了强化学习根据网络的变化来判断如何做进一步的处理,使之获得最大的收益——当前的网速下播放最清晰的内容。我们目前的wifi和蜂窝可能不稳定,AI ABS更加适合当前无线网络下,如何给用户提供当前限制条件下最好的体验方式。

a91da88344b317b1770133ebc7aea769c2108678

ZoomAI超分辨。用人工智能对清楚的照片学习足够多以后,爱奇艺形成了一套模型,用它来处理那些不清楚的内容,使之可以变清楚。ZoomAI研发用于图片,再进一步应用于视频,使用ZoomAI处理老视频,可以获得比较好的体验。下图中,左边是标清的,右边是ZoomAI的结果。

927cb00bb4578093d871e0e409468744365eb8ab

交互和开放两个部分如表所示:

894d140e305b3280b3f2698d51b65f27cde61f69

值得注意的是,爱奇艺视频大数据集是全球最大的影视明星的开放数据集,可以进行多模态的人物识别竞赛,将与中国自动化学会、计算机学会、人工智能学会以及中国图像学会一起,在PRCV2018的会议会发布竞赛,奖金高达35万。网址:

http://challenge.ai.iqiyi.com

99ac35b49c50e6efa1daaa76df61391f12e40ff0

接下来,Akamai全球解决方案副总裁Dev Gupta介绍了在线视频行业发展中面临的挑战。

3a76b5371843d52359385db5f8b847c8a0d11ac6

Akamai全球解决方案副总裁Dev Gupta

Dev Gupta认为,技术会继续引领在线视频行业,有三方面是要关注。第一方面是能够提供的内容,减少延迟。第二方面是缓冲,观众希望可以获得非常好的缓冲功能,否则每次缓冲的时间会减少观众的参与度,减少14分钟左右。第三方面,比特率变化太多也会失去观众,用户的放弃率超过4倍以上。

hulu全球副总裁诸葛越介绍了AI视频应用的现状和未来。hulu在封面推荐、视频信息标注、广告中都应用到AI技术,这三个层次又可以把广告和视频连接起来,实现视频内容和广告内容的高匹配度。

ef64391911da376455b424730a4fad87c57d75cb

hulu全球副总裁诸葛越

杨静:AI延伸进视频软硬件领域,未来一切人、物、景都可以变成数字资产

近年来,AI在视频领域的应用除了覆盖包括视频生产与创作,语音、手势等指令的交互等“软件”外,还在高复杂度的拍摄过程中,向灯光、摄影等“硬件”领域延伸。

在爱奇艺世界·大会智能视频高峰论坛上,新智元创始人兼CEO杨静女士作为圆桌论坛主持人,对话来自智能软硬件领域重量级嘉宾,探讨AI技术如何在视觉、听觉、创作、体验上带来颠覆性升级。

5dc33250327f3c20d3130600a544f16cbdb078e5

新智元创始人兼CEO杨静女士(左一)与圆桌论坛嘉宾对话

杨静认为,目前4K大有超越1080P成为主流视频分辨率的趋势,但AI如何应用到4K智能硬件,实现内容与交互的结合仍然面临挑战。

今年4月11日,电视果正式发布电视果4K创新的智能硬件,也是全球首款AI投屏的产品,在内容与交互上进行了大胆探索。

小果视讯CEO、电视果负责人谭涛认为,4K产品能在两个方面应用人工智能技术,一个是交互,一个是内容分发。人工智能语音的操作包括语音识别、自然语言处理,视频内容的分发包括通过HoomAI,加入大量的针对场景化的内容识别,针对用户的自身使用特性标签进行推荐。

除了上述软件领域,AI在硬件、系统集成中都已经开始渗入。

今年平昌冬奥会结尾出现了特别精彩的“北京8分钟”,这个节目是由北京电影学院科研信息化处副主任刘军牵头策划。

AI系统解决成本和效率问题,北京电影学院科研信息化处与北京理工大学开发了一套“预演模拟仿真系统”,包括投影的灯光、演员的表演、可以透视的冰屏等,一切的都仿真化。模拟仿真系统可以对前期所有预演的数据进行保留,后期直接输入数据跟冰屏计算机接口对接,演员按照系统训练就可以。

在大型节目制作现场,AI已经开始解决问题。

爱奇艺副总裁车澈介绍,《中国有嘻哈》有一百多个机位,所有角度不同的空间上百台摄像机同时工作,AI解决自动化的音视频对位问题,让剪辑前的准备工作时间大幅度缩小,效率非常高,成本会降低很多。

同时,视频的处理往往对CPU或GPU都要求比较高,特别是大规模、大场面的制作。杨静认为,AI算法的出现是让视频制作、运营效率提升的机会,这也对底层处理能力提出要求。

作为底层计算能力的提供商,英特尔针对传统视频的分发、编解码提供非常好的解决方案。英特尔全球软件合作部中国区总监介绍,英特尔还针对AI框架进行深度的优化。

“我们也会提供相应的产品,比如最近刚推出的CVSDK,它可以提供跨平台的视觉推理引擎,不用在意计算平台到底CPU还是GPU还哪一个架构的计算单元。它提供了统一的平台,希望把编程者从软件编程中解脱。”

从台前到幕后,AI现在接手越来越多的“苦力活”,也是幕後英雄。展望未来,AI怎样才能在视频领域发挥更多作用、给观众更好的体验?杨静向现场嘉宾提出最后一个问题。

谭涛:AI能够帮助中国人重新回到大屏,享受最身临其境的临场体验。今天的中国人很忙,70%都是在手机上快速看视频,希望用AI的技术给大家带来完美的大屏体验。

诸葛越:我们想知道还有什么更有创意的场景,并且希望技术解决与人交流的问题。

李眈:AI将来一定能够让每个人生活变的更好,让每个人把自己的精力放在自己真正认为有价值投入的地方。我们相信机器今天或在不远的将来不会只满足做所谓低附加值的事情,一定会提供人类都无法企及的事情,改善我们的生活。

刘军:当一切的人、物、景都可以变成数字资产进入到加工世界的时候,每位用户拿起手机可以在很短的时间用自己或者你喜欢的明星做非常精彩的电影,AI自己可以拍关于自己的电影。让我们一起期待未来的智能影像时代。

车澈:之前很多做创意工作的人,特别是做内容创意的人对AI不是特别感冒,因为听起来好像有一点被替代的感觉。但在实际的工作和应用中,我会觉得做创意的人不是被替代,而是被辅助。AI可以辅助你做更多有创意的事或者把你的精力关注在创意上。


原文发布时间为:2018-05-21

本文作者:克雷格

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。

原文链接:强化学习处理自适应码流播放,爱奇艺AI推荐提升观看率15%

相关文章
|
1月前
|
机器学习/深度学习 人工智能 安全
构建未来:AI驱动的自适应网络安全防御系统
【2月更文挑战第15天】 在数字化时代,网络安全已成为全球关注的焦点。传统的安全防御手段在面对日益复杂的网络威胁时显得捉襟见肘。本文将探讨如何利用人工智能(AI)技术构建一个自适应的网络安全防御系统。该系统能够实时分析网络流量,自动识别和响应潜在威胁,从而提供一种更加动态和灵活的安全保护机制。通过深度学习算法的不断进化,这种系统能够预测和适应新型攻击模式,显著提高防御效率和准确性。
|
12天前
|
机器学习/深度学习 人工智能 运维
构建未来:AI驱动的自适应网络安全防御系统
【4月更文挑战第7天】 在数字时代的浪潮中,网络安全已成为维系信息完整性、保障用户隐私和确保商业连续性的关键。传统的安全防御策略,受限于其静态性质和对新型威胁的响应迟缓,已难以满足日益增长的安全需求。本文将探讨如何利用人工智能(AI)技术打造一个自适应的网络安全防御系统,该系统能够实时分析网络流量,自动识别并响应未知威胁,从而提供更为强大和灵活的保护机制。通过深入剖析AI算法的核心原理及其在网络安全中的应用,我们将展望一个由AI赋能的、更加智能和安全的网络环境。
25 0
|
1月前
|
机器学习/深度学习 人工智能 算法
构建未来:AI驱动的自适应网络安全防御系统
【2月更文挑战第27天】 在数字化进程加速的背景下,网络安全威胁日益增长,传统的安全防御机制逐渐显得力不从心。本文提出一种基于人工智能技术的自适应网络安全防御系统架构,旨在通过实时分析网络行为和自动调整防御策略来应对复杂多变的网络攻击。该系统利用机器学习算法对异常行为进行检测与分类,并结合深度学习技术实现攻击模式的预测和响应策略的动态优化。文章详细阐述了系统的设计理念、关键技术以及预期效能,展望了AI技术在网络安全领域应用的未来趋势。
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
构建未来:AI驱动的自适应网络安全防御系统
【2月更文挑战第26天】 在数字化时代,网络安全已成为维护信息完整性、确保业务连续性的关键。随着攻击手段的不断进化,传统的安全防御措施已不足以应对日益复杂的威胁。本文将探讨人工智能(AI)如何革新网络安全领域,构建一个自适应的防御系统。通过分析当前网络威胁的演变趋势,结合AI技术的实时数据分析、模式识别和自我学习能力,提出一种智能化的安全框架。该框架能够动态调整安全策略,预防未知攻击,并减少误报,从而为网络环境提供更加坚固的保护。
|
1月前
|
机器学习/深度学习 人工智能 监控
构建未来:AI驱动的自适应交通管理系统
【2月更文挑战第15天】 在城市发展迅猛的今天,交通拥堵已成为一个全球性的问题。本文提出了一种基于人工智能技术的自适应交通管理系统(ATMS),旨在通过实时数据分析和预测模型来优化交通流。系统采用先进的机器学习算法,不仅能够响应当前的交通状况,还能预测并管理未来的交通需求。本研究的创新之处在于其自学习能力,这使得系统随着时间的推移而不断进化,提高了对复杂城市交通环境的适应性和效率。
|
8月前
|
机器学习/深度学习 存储 人工智能
语言模型做先验,统一强化学习智能体,DeepMind选择走这条通用AI之路
语言模型做先验,统一强化学习智能体,DeepMind选择走这条通用AI之路
107 0
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
DeepMind用「强化学习」训练「正能量」聊天机器人:再也不用担心AI乱说话了!
DeepMind用「强化学习」训练「正能量」聊天机器人:再也不用担心AI乱说话了!
158 0
|
机器学习/深度学习 Web App开发 人工智能
全球名校AI课程库(10)| Berkeley伯克利 · 深度强化学习课程『Deep Reinforcement Learning』
课程结合了最新的研究进展,讲解深度强化学习领域的前沿知识和实践,覆盖了使用深度学习神经网络进行强化学习的各类方法模型。
2139 1
全球名校AI课程库(10)| Berkeley伯克利 · 深度强化学习课程『Deep Reinforcement Learning』
|
机器学习/深度学习 人工智能 自然语言处理
全球名校AI课程库(17)| Stanford斯坦福 · 强化学习课程『Reinforcement Learning』
课程为强化学习领域提供了坚实的介绍。通过讲座、书面和编码作业的结合,学生将精通强化学习的关键思想和技术。
2229 1
全球名校AI课程库(17)| Stanford斯坦福 · 强化学习课程『Reinforcement Learning』
|
机器学习/深度学习 人工智能
AI:2020年6月24日北京智源大会演讲分享之强化学习专题论坛——12:10-12:40张伟楠《基于模型的强化学习:基础与前沿》
AI:2020年6月24日北京智源大会演讲分享之强化学习专题论坛——12:10-12:40张伟楠《基于模型的强化学习:基础与前沿》
AI:2020年6月24日北京智源大会演讲分享之强化学习专题论坛——12:10-12:40张伟楠《基于模型的强化学习:基础与前沿》

热门文章

最新文章