动态贴纸SDK怎样开发才能接入运营级别短视频平台

十有八九q941716942 2019-08-22

云栖社区 移动开发与客户端 算法 性能 sdk 运营 人脸检测

以抖音、快手为例的短视频平台是大众都非常喜爱的娱乐消遣方式之一,除了新颖有趣的视频拍摄玩法和变现方式之外,其接入的动态贴纸SDK也成为了提升用户留存率的主要“工具”之一。那么,怎样开发动态贴纸SDK才能使其具备接入运营级短视频平台的“资格”?
本文以2D和3D动态贴纸为例,来简单的分享下相关内容。
2D和3D动态贴纸之间有何区别
一般2D动态贴纸相对来说都比较的简单直观,比如我们在美颜相机中会经常见到的一些头饰类、耳朵类、面部装饰类等动态特效,并不需要特别复杂的技术支持。而3D特小贴纸通常是偏向整个面部的特小,即整张脸都是3D特效实现的。
2222__
动态贴纸SDK中的3D特效如何实现
(1)这里使用到的算法一般都是三维空间的渲染,但是OpenGL所提供的还是二维图像渲染,像是之前的美颜都是在原始的视频帧纹理上,进行二维的渲染变动来实现效果,也就是需要视频帧被3D渲染,所以是需要一定的三维想象力的。
(2)由于涉及到3D模型,其中就势必会涉及到渲染方面的问题。因为3D模型越精细,面数越多,渲染时给GPU所带来的压力就越大,所以需要先考虑3D模型的精细程度和大小。
(3)性能方面也需要进行简单的优化,比如:在模型上点计算比较耗时,可以利用普通的模型去代替特殊的模型,这样一来每一个点都是特定的,就不需要每次都计算,所以性能也会得到一定的提升。
动态贴纸SDK开发过程中还会用到哪些算法
动态贴纸SDK中除了包含前面提到的2D/3D特效之外,还包含一些基本常用的美颜功能,既然有美颜功能,就需要涉及到相应的美颜算法。接下来简单分享下关于自动瘦脸和大眼功能的算法。
1.自动瘦脸与眼睛放大可以算作是图像局部扭曲算法的一个应用,图像局部扭曲算法有三个:局部缩放算法、局部平移 算法和局部旋转算法。
111__
2.局部缩放算法可实现眼睛放大,局部平移算法则可用于实现瘦脸效果。当然,图像局部缩放算法只是眼睛放大算法流程中的最关键的一步,要实现自动眼睛放大算法还需要额外的步骤。
3.人脸检测现在已经是一个很成熟的技术,网上也有很多开放资源,可以得到很丰富的人脸特征点,包括眉毛、眼睛、鼻子、嘴巴以及脸部轮廓等。
这样一来我们不难看出,动态贴纸SDK所需要用到的技术和算法是比较复杂且困难的,而要想达到接入运营级别的短视频平台标准的话,不仅需要包含基础的美颜功能,还需要包含各种动态或3D特效类型的贴纸,况且还需要注意特效的质感和色彩等细节部分,所以并不建议自行开发动态贴纸SDK,找专业的服务开发商更省时省力一些。
声明:以上内容均为作者本人原创,转载需注明作者及原文链接,欢迎转载分享。

登录 后评论
下一篇
云攻略小攻
1359人浏览
2019-10-21
相关推荐
蘑菇街直播架构分析
5434人浏览
2016-11-08 22:40:17
0
0
0
292