咕咚运动数据存储实践

本文涉及的产品
对象存储 OSS,20GB 3个月
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
对象存储 OSS,恶意文件检测 1000次 1年
简介: 摘要:6月29日2016云栖大会成都峰会拉开帷幕,咕咚运动运维负责人李锐带来了“咕咚运动数据存储实践”的重要演讲。从咕咚APP的性质和目标,谈到互联网OLTP模型,重点介绍了分布式数据库和对象存储的应用,最后也简要的介绍了互联网OLAP模型。让我们一起先睹为快吧——


咕咚APP——综合运动社交平台

 

 

咕咚APP致力于打造运动社交综合型平台,目前咕咚APP所涵盖人群包括:跑步、健走、骑行、游泳、滑雪、篮球、足球等多个领域,并为其提供相应功能进行承载。

 

咕咚APP有稳定的GPS轨迹记录及全面的数据存储,满足运动人群对于个体/群组的社交需求。咕咚APP已经拥有近5000万注册用户,日活人数450万+人,致力于为平台上千万运动爱好者,打造专属的运动功能、社交功能、以及独特的O2O功能。

 

 

互联网OLTP模型

 

 

缓存(ECS(redis&&twemproxy)+SLB)


 ad00c747f45d5ac58df608dd3325c5bc528b8aab

 

队列

 

 

经历的阶段:

◆ Redis:单线程,扩展性不强,不支持ack。

◆ RabbitMQ:集群方案常出问题,并且无法获取error log,出问题后很难定位。

◆ 阿里云MQ方案:无单点,无瓶颈,可自由扩展,支持重试机制。

 

 

数据库(RDS MySQL)

 

 

1. 托管的数据库服务。

2. 全方位的基础监控,权限控制。

3. 高可用性,无感知自动切换主备。

4. 弹性升级配置。

5. 相关配套中间件功能强大,比如DRDS,DTS。

 

4c6e1e7a8426a4c8091c351c989ac861621586df

海量数据存储方案(PreSharding+DRDS)

 

 

对象数据存储(OSS咕咚路线详情数据)

 

OSS的优势表现在以下几点:

 

1. 海量扩展性。

2. 高可用性 (可用性不低于99.9% ; 持久性10个9)。

3. 安全性(提供白名单,防盗链,主子账号功能)。

4. 成本低。

5. 团队的快速响应(咕咚提出的对OSS监控的需求,开发到上线非常迅速)。

 

OSS适合在图片、音视频、日志、数据库备份集&& binlog等场景中应用。那么,咕咚从OSS获得了哪些便利?主要有以下三个方面:

 

1. 从RDS迁移到OSS成本降低了90%以上。

2. 天然多重副本,不用再考虑灾难备份。

3. 分布式设计,不用再考虑扩展性。

 

归档数据(OAS)

 

1. 价格非常便宜,支持断点续传。

2. 单个文件最大支持40TB。

3. 适合用来存储归档数据。

 

互联网OLAP模型

 

 

移动端日志采集

 

 

1. 通用的SDK,来代替原有的埋点API,更加稳定。

2. 多维的报表数据。

3. 相关crash信息。

4. 日志数据可统一推到ODPS做进一步的分析处理。

 

 

数据仓库(ODPS)

 

1. 托管的数据仓库方案。

2. 分布式列式数据库模型,强大的计算能力,高压缩比。

3. 支持sql,MapReduce。

4. 无缝抽取分布式RDS数据,集中化数据处理。

 

 

 

 

本文根据咕咚运动运维负责人李锐在6月29日举办的2016云栖大会·成都峰会上的演讲整理而成。

 

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
机器学习/深度学习 API 计算机视觉
视觉智能平台常见问题之使用智能分镜功能拆分镜头丢失部分镜头如何解决
视觉智能平台是利用机器学习和图像处理技术,提供图像识别、视频分析等智能视觉服务的平台;本合集针对该平台在使用中遇到的常见问题进行了收集和解答,以帮助开发者和企业用户在整合和部署视觉智能解决方案时,能够更快地定位问题并找到有效的解决策略。
30 0
|
1月前
|
5G 定位技术
带你读《5G大规模天线增强技术》精品文章合集
带你读《5G大规模天线增强技术》精品文章合集
|
6月前
|
关系型数据库 定位技术 分布式数据库
沉浸式学习PostgreSQL|PolarDB 18: 通过GIS轨迹相似伴随|时态分析|轨迹驻点识别等技术对拐卖、诱骗场景进行侦查
本文主要教大家怎么用好数据库, 而不是怎么运维管理数据库、怎么开发数据库内核.
1067 1
|
3月前
|
存储 人工智能 数据管理
|
8月前
|
存储 编解码 监控
转:如何利用视频压缩算法优化屏幕监控数据管理
屏幕监控数据的管理就跟整理书房一样,既要提高效率,还要省点存储成本。视频压缩算法就像是书架上的魔法工具,可以在不损坏图画的情况下,把数据量“瘦身”一下,让数据管理变得更轻松。以下是一些利用视频压缩算法优化屏幕监控数据管理的方法——
96 0
|
存储 并行计算 Cloud Native
使用 PolarDB 开源版 部署 pgpointcloud 支撑激光点云数据的高速存储、压缩、高效精确提取
PolarDB 的云原生存算分离架构, 具备低廉的数据存储、高效扩展弹性、高速多机并行计算能力、高速数据搜索和处理; PolarDB与计算算法结合, 将实现双剑合璧, 推动业务数据的价值产出, 将数据变成生产力. 本文将介绍使用 PolarDB 开源版 部署 pgpointcloud 支撑激光点云数据的高速存储、压缩、高效精确提取
343 0
|
监控
构建三维一体立体化监控,看这一篇就够了!
如果你需要搭建一套能够立体化监控你的应用及业务,出现问题及时告警的监控体系,这篇文章应该是你所需要的!
454 0
构建三维一体立体化监控,看这一篇就够了!
|
监控 物联网 数据库
《车联网全景监控数据时空超融合数据库方案》电子版地址
车联网全景监控数据时空超融合数据库方案.ppt
76 0
《车联网全景监控数据时空超融合数据库方案》电子版地址