谈谈我的数据仓库经历

星爷谈数仓 2020-02-22

分布式 大数据 Oracle 用户体验 数据仓库

目前还是大数据的时代,传统的数据仓库早就跟不上大数据的发展。还记得初入数据仓库这行时,那时候的用的还是oracle+obiee。数据量大到上千万的时候,前端完全加载不出来。而且那时候的数仓设计,由于数据仓库用的oracle,费用比较贵,所以尽量的用时间换空间,前端会存在很多维表和事实表的关联,甚至有些计算都会放到前端计算。这样就导致用户体验非常差。后面hadoop起来了,分布式的数据仓库很好的顺应了大数据的时代要求,用空间换时间和用户体验,所以基本上计算逻辑都由后台计算了,前端只是表对表的加载而已。所以,目前市面上的各种维度建模都大同小异,无非都是ODS保留贴源数据,DW层会划分为两个细分层级,一个是明细,用来清洗数据,一个是汇总数据,用来过滤口径等,最后还有一个DM层(有些厂可能不这么叫),这一层主要是面向应用,包括可视化,大屏,移动端等等。不知道你们所在的公司,数据仓库,在数仓模型这块有什么不同呢?欢迎留言讨论!!!

登录 后评论
下一篇
云栖号资讯小编
796人浏览
2020-04-07
相关推荐
一个学渣的阿里之路
11397人浏览
2018-06-27 13:18:21
谈谈经历公司那些事
892人浏览
2017-11-01 16:43:00
一个Java程序员的阿里之路
1151人浏览
2018-10-20 17:32:18
谈谈软件的开发及成长历程
1075人浏览
2017-12-04 17:48:00
谈一谈周公所理解的面试
1005人浏览
2017-11-16 20:04:00
转载:你积累了什么?
621人浏览
2013-07-09 16:27:00
90后程序员工作经历
998人浏览
2012-11-22 12:52:00
谈谈编程语言的选择
943人浏览
2016-03-09 10:53:50
刚工作,要辞职需谨慎
878人浏览
2012-11-06 22:09:00
也来谈谈IT培训
889人浏览
2017-08-30 11:12:00
0
0
0
253