唱吧基于 MaxCompute 的大数据之路

晋恒 2019-08-22

大数据 日志 Image 同步 云服务 离线计算 数据同步 自建机房 报表 数据统计 MaxCompute QuickBI

本文作者:马星显 唱吧大数据负责人

使用 MaxCompute之前,唱吧使用自建体系来存储处理各端收集来的日志数据,包括请求访问记录、埋点数据、服务器业务数据等。初期这套基于开源组件的体系有力支撑了数据统计、业务报表、风控等业务需求。但随着每天处理数据量的增长,积累的历史数据越来越多,来自其他部门同事的需求越来越复杂,自建体系逐渐暴露出了能力上的短板。同时期,唱吧开始尝试阿里云提供的ECS、OSS等云服务,大数据部门也开始使用 MaxCompute来弥补自建体系的不足。

在内部ELK实现的基础上,从自建机房向MaxCompute进行数据同步工作是比较简单的,实践中我们主要采取两种方式:一是利用阿里云提供的datahub组件,直接对接logstash;二是把待同步数据落地到文件,然后使用tunnel命令行工具上传至MaxCompute的

登录 后评论
下一篇
冒顿单于
11750人浏览
2019-08-28
相关推荐
阿里云MaxCompute 2019-8月刊
3911人浏览
2019-09-12 10:27:50
MaxCompute文章索引
7217人浏览
2016-10-19 10:30:14
0
0
0
4954