游戏分发市场打包OSS-UDF改造方案

本文涉及的产品
对象存储 OSS,20GB 3个月
云服务器 ECS,每月免费额度200元 3个月
云服务器ECS,u1 2核4GB 1个月
简介: 原作者:高级阿里云解决方案架构师,远途。对于应用市场来说,怎样管理成千上万的渠道包,并最大限度的节省成本,采用OSS+UDF方案是一个不错的选择。

游戏渠道打包业务架构图

826e15f1c80bbf14fc644740ef42b8d5bdcec2b6

主要痛点

产品流量限制

ECS内网限流500M,打包集群用8台ECS、合计4Gbps的带宽峰值,在打包业务峰值时也不够处理,继续扩展ECS又会达到OSS的单用户吞吐量上限,业务进一步扩展遇到瓶颈。

存储成本

分发市场一般会对接上千个渠道,一款爆款游戏需要打上百个渠道包,所以存储量百倍提升,成本压力较大。

OSS-UDF方案

OSS-UDF((User Defined Function))是OSS团队针对存储内容有轻量计算需求所提供的产品化解决方案。
UDF程序是一个运行在OSS服务器端的用户自定义的处理程序,OSS在收到用户的UDF请求后,会转发给用户的UDF程序,对存储内容进行诸如解压、转码、图像处理等处理,并在处理完成后将结果返回给用户。
使用UDF,必须按照OSS的UDF协议来开发UDF程序、并将UDF程序托管到OSS;包括UDF程序的规范、托管方法、客户端调用规范。

利用UDF改造渠道打包系统

1 以熟悉的编程语言开发好UDF程序,假设叫做BuildChannel,该程序需要监听9000端口,能够接收HTTP POST请求,内容是对一个原始的游戏包做渠道包打包操作(新型的渠道包打包基本是在原始渠道包文件后attatch一段渠道信息)
2 通过一个YAML格式的文件,用户配置OSS安装必要的依赖,最终BuildChannel要能直接运行于Ubuntu 14.04。
3 注册BuildChannel,后续控制台会开放标准注册页面和API,当前阶段线下配置;
4 客户端根据UDF协议调用,获取渠道YYY包的调用形式如下(其中jsonParaYYY是json组装的YYY渠道包必要信息): 
GET http://bucketName.oss-cn-hangzhou.aliyuncs.com/game.apk?x-oss-process=udf/BuildChannel,jsonParaYYY
5 OSS接到调用,将UDF请求解析出来POST给UDF程序,处理完成后,OSS调用将直接返回打好渠道信息的安装包

改造方案解析

UDF只适合对单体资源对象做简单处理的场景,因为UDF的调用时间包含在OSS调用的返回时间内,如果需要较长时间(涉及复杂计算场景、批量资源)的调用不合适使用UDF。
绝大部分数量的游戏包只用存储1份原始包、以及少量不能用UDF构建的渠道包,存储空间比起全部静态打包的方式,缩减到1/N,极好替用户节省了成本。可以有效减少打包服务器ECS数量。
相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
3月前
|
JavaScript Java Serverless
函数计算中,这里是用的curl的方式,如何改用http的post方式请求?还有如何设置oss打包的zip的保存目录?
函数计算中,这里是用的curl的方式,如何改用http的post方式请求?还有如何设置oss打包的zip的保存目录?
159 0
|
4月前
|
存储 Kubernetes 对象存储
Kubernetes版本对接对象存储几种方案
Kubernetes版本对接对象存储几种方案
176 0
|
7月前
|
存储 弹性计算 Serverless
使用函数计算打包下载OSS文件
本场景介绍如何使用函数计算将对象存储OSS上多个文件(Object)打包下载到本地。
435 0
|
存储 分布式计算 Kubernetes
Github 29K Star的开源对象存储方案——Minio入门宝典
对象存储不是什么新技术了,但是从来都没有被替代掉。为什么?在这个大数据发展迅速地时代,数据已经不单单是简单的文本数据了,每天有大量的图片,视频数据产生,在短视频火爆的今天,这个数量还在增加。有数据表明,当今世界产生的数据,有80%是非关系型的。那么,对于图片,视频等数据的分析可以说是大数据与人工智能的未来发展方向之一。
1218 0
Github 29K Star的开源对象存储方案——Minio入门宝典
|
存储 机器学习/深度学习 分布式计算
非结构化数据怎么存?——开源对象存储方案介绍
过去的相当长的一段时间里,商用对象存储占据了市场上的大量的份额。国外的Amazon S3,国内的阿里云OSS都成为了大多数公司的选择。但是构建一个企业级的数据湖(包括结构化和非结构化数据)已经成为了越来越多公司的目标。那么Hadoop还能满足我们的要求吗?还是我们需要更多的选择?
1034 0
非结构化数据怎么存?——开源对象存储方案介绍
|
存储 对象存储 CDN
【对象存储OSS/网络分发加速CDN】使用OSS后,如何实现流量访问限制或请求次数的限制
描述使用对象存储OSS后,如何实现流量访问限制或请求次数的限制
2044 2
|
存储 SQL 缓存
Flink + Iceberg + 对象存储,构建数据湖方案
上海站 Flink Meetup 分享内容,如何基于Flink、对象存储、Iceberg 来构建数据湖生态。
Flink + Iceberg + 对象存储,构建数据湖方案
|
API 对象存储
【OSS 排查方案-10 请求 OSS 返回 404】
什么是 404 404 标准的 http code 状态码,代表用户请求的资源在服务端不存在, 404 并不是一个异常状态码?而是一个正常的响应。换句话说 404 已经成为了一个结果,这种响应常见在 client 端下载 OSS 的资源时出现。
【OSS 排查方案-10 请求 OSS 返回 404】
|
编解码 对象存储 索引
【OSS 排查方案-12 livechannel 直播推流】
OSS livechannel 推流过程 生成推流 URL设置推流状态 录制 M3u8 缺失 默认录制成品的 m3u8 所以只有最后 3 片,遵循的是 hls 协议的默认规则,是正常想象,可以通过调用 PostVodPlaylist 接口将指定时间范围内的 ts 文件汇聚到一个 m3u8 索引内来解决; tips EndTime 必须大于 StartTime,且时间跨度不能大于 1 天。
【OSS 排查方案-12 livechannel 直播推流】
|
JSON 对象存储 数据格式
【OSS 排查方案-13 postobject】
EntityTooLarge 出现这种问题基本是客户端的 post 代码中限制的请求的 body 大小,排查这种问题最好是通过抓包,或者构造 post 源码上看下。当你的 bucket 不是 public-read-write 时,需要客户端的 post 代码中提供 post policy ,这这属性中,有关于 content-length-range 的设置,不注意的话这个地方基础设置都是 10M,建议检查下这个地方。
【OSS 排查方案-13 postobject】

热门文章

最新文章