O2O数据仓库实践:应对快速变化业务模型

简介:
文章讲的是 O2O数据仓库实践:应对快速变化业务模型2014年4月10日-12日,第五届中国数据库技术大会(DTCC 2014)在北京五洲皇冠国际酒店拉开序幕。今天是12日下午的专场8:数据仓库设计和管理。来自美团网的数据仓库架构师徐章给大家带来了《O2O数据仓库实践——应对快速变化的业务模型》。

优酷土豆杜长嵘:视频网站数据分析实践
▲点击进入中国数据库技术大会报道专题

  O2O这个增长迅猛,快速变化的行业,对如何建立数据仓库提出了很多挑战——快速变化, 快速处理, 快速应用是三个最核心的需求。美团作为国内最大的本地服务电子商务公司,在支撑前线的数据仓库设计上面临哪些挑战?又有哪些方案?美团数据仓库架构师徐章,他目前负责美团数据仓库的建设和数据仓库工具的开发。他介绍了美团数据仓库的架构和核心工具,以及在数据建模和管理上的探索、实践和创新。

O2O数据仓库实践:应对快速变化业务模型
▲美团数据仓库架构师徐章

  数据仓库的构建离不开业务场景

  解析团购行业的特点:1、团购?业低?利,要求?效率,百度8%,美团5%。2、业务复杂. 订单、财务、供应链、客服等,近20个业务部?,关系复杂需求多。3、业务变化快. ?业?速发展,形式不断更新。

  团购行业对数据仓库的要求:快速建模: 全?地覆盖所有业务、业务模型灵活变更: 可?且响应周期短、?便使?: 每个?都能使?数据资源。

  快速粗放式增长之痛:1、指标管理混乱: 重复定义, ?径不?致, 变更困难。2、元数据过于松散: 找不到数据, 业务知识零散。3、依赖关系过于复杂: 层次过深, 指标来源不明。4、规范执?困难: ??审核,建模?法论难以贯彻,还容易将精?耗费在业务?关的细节上。

  数据仓库的构建思路

  1、形式化模型定义:精确表达业务逻辑、?处定义,各处复?、模型即?档。

  2、简化处理层级

  3、模型驱动数据?产

  总线图的方法

O2O数据仓库实践:应对快速变化业务模型

  多维度模型视角主要包括:1、按事实?度(纵向): 星型多维。2、按主题组织(横向): 维度层级组合合并

  模型元素:1、实体/事实: 名称,物理表名,属性/度量列表;2、属性: 名称,对应字段/表达式,属性字典;3、度量: 聚合?法; 4、层级关系: 各层级属性

  简化处理层级:目标

O2O数据仓库实践:应对快速变化业务模型

  模型驱动?动化?作流:1、??成聚合表流程。2、?动创建主题表流程。3、?动部署上线并注册任务调度。

  驱动数据?产:聚合计划:1、选定事实。2、指定维度层级组合。3、?成Hive SQL (Multi Groupby)

  驱动数据?产:主题定义:1、选定维度层级组合。2、指定事实列表。3、?成Hive SQL (FULL OUTER JOIN)。

  达成的效果:1、关注于业务建模, ?具执?规范和?产。2、业务知识和指标查找变得可能。3、减少混乱的指标定义带来的沟通?作。4、快速响应模型变更。5、便于快速铺开到新的产品线(电影,酒店,外卖…)

O2O数据仓库实践:应对快速变化业务模型

  经验总结

  最后,美团数据仓库架构师徐章总结了自己的经验,主要包括了三点:1、元数据管理的形式: 档< wiki < 字典系统< 形式化模型。2、对开放数据产的态度: 平衡治和统。3、动化,助化,平台化。


作者:景保玉

来源:IT168

原文链接:O2O数据仓库实践:应对快速变化业务模型

相关文章
|
4月前
|
数据挖掘 数据库
离线数仓6.0--- 数据仓库 ER模型-范式理论,维度模型、维度建模理论之事实表、维度建模理论之维度表
离线数仓6.0--- 数据仓库 ER模型-范式理论,维度模型、维度建模理论之事实表、维度建模理论之维度表
130 0
|
9月前
|
存储 数据采集 关系型数据库
数据仓库模型全景
数据仓库模型全景
|
11月前
|
大数据 数据管理 数据库
数据仓库(3)数仓建模之星型模型与维度建模
维度建模是一种将数据结构化的逻辑设计方法,也是一种广泛应用的数仓建模方式,它将客观世界划分为度量和上下文。度量是常常是以数值形式出现,事实周围有上下文包围着,这种上下文被直观地分成独立的逻辑块,称之为维度。它与实体-关系建模有很大的区别,实体-关系建模是面向应用,遵循第三范式,以消除数据冗余为目标的设计技术。维度建模是面向分析,为了提高查询性能可以增加数据冗余,反规范化的设计技术。
392 1
|
11月前
|
存储 SQL 数据采集
数据仓库设计模型
数据仓库设计模型
116 0
|
12月前
|
SQL 存储 DataWorks
《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(上)——一、产品概述
《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(上)——一、产品概述
|
12月前
|
存储 算法 Cloud Native
《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(上)——三、产品相关概念(上)
《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(上)——三、产品相关概念(上)
|
12月前
|
存储 监控 Cloud Native
《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(下)——一、数据同步
《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(下)——一、数据同步
|
12月前
|
监控 Cloud Native 关系型数据库
《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(下)——二、监控报警使用、监控巡检
《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(下)——二、监控报警使用、监控巡检
|
分布式计算 MaxCompute
《MaxCompute数据仓库数据转换实践》电子版地址
MaxCompute数据仓库数据转换实践
101 0
《MaxCompute数据仓库数据转换实践》电子版地址