袋鼠云数据中台专栏(六):企业数据指标的那些事儿

简介: 本文作者:子玺 袋鼠云数据中台解决方案专家。拥有近10年大数据从业经验,拥有PMP项目管理资格认证,精通数据类项目的开发实施和管理。曾服务过国家工商总局、北京市工商局、北京市财政局、广州开发区大数据局、平湖人社局、海盐人社局等行政单位,担任多个大型数据项目的数据应用咨询顾问/项目经理。

4076b42b68e777ce736ce6965f92b7af5ae0b1b2



本文作者:子玺


袋鼠云数据中台解决方案专家。拥有近10年大数据从业经验,拥有PMP项目管理资格认证,精通数据类项目的开发实施和管理。曾服务过国家工商总局、北京市工商局、北京市财政局、广州开发区大数据局、平湖人社局、海盐人社局等行政单位,担任多个大型数据项目的数据应用咨询顾问/项目经理。


一、企业指标体系的重要性不言而喻


在我们谈论指标之前,先将时间倒推几十年,现代管理学之父彼得·德鲁克说过一句很经典的话:如果你不能衡量它,那么你就不能有效增长它。所谓衡量,就是需要统一标准来定义和评价业务,这个标准就是指标。


一个企业的生产、运营离不开指标,它的重要性不言而喻,我们这里就不再讨论了,接下来,我们主要看一看企业发展过程中与数据及数据指标有关的那些事。


二、从全局角度看,企业数据指标体系可能存在一些问题


  • 全局总览下来,不同部门利用数据指标的水平和标准参差不齐

  • 因基础数据问题,缺失某些重要指标,想看的指标看不到

  • 混乱的数据基础制约了探索性分析,对新业务开展支持力度有限

  • ……


我们想象数据指标就像是企业发展的“记牌器”,是衡量企业/业务发展健康程度的重要存在,那么如何解决上述问题,用好这个记牌器呢?

笔者认为可以从以下几个方面入手:


  • 帮助企业站在全局视角,快速梳理现有的所有指标情况,清晰掌握企业当前利用数据的情况,评估每一个部门指标体系搭建及应用情况,至少做到“知己”;


0bc06f7a7e56200cd0aa7697718cc3d6a50744df


  • 针对缺失的指标提供建设路径与参考方案,为企业主衡量决策时提供必要的支持;


831768bd560e6e6a2dd1e788aa1ebf172d1bc778


  • 基于数据中台策略为企业构建OneData数据架构,解决全域数据统一的问题,同时借助数栈-数据治理套件从工具层面解决数据血缘追溯,方便不同部门数据使用人员使用,降低沟通和管理成本。


5f422c9e200777ad0a885924b8bb2e359f059ae0

构建数据地图,梳理数据指标,让企业数据可感、可知、可管


三、什么是OneData体系?


在企业发展初期,数据研发模式一般紧贴业务的发展而演变的,数据体系也是基于业务单元垂直建立,不同的垂直化业务,带来不同的烟囱式的体系。


但随着企业的发展,一方面数据规模在快速膨胀,垂直业务单元也越来越多;另一方面基于大数据的业务所需要的数据不仅仅是某个垂直单元的,使用数据类型繁多(Variety)的数据才能具备核心竞争力。


跨垂直单元的数据建设接踵而至,混乱的数据调用和拷贝,重复建设带来的资源浪费,数据指标定义不同而带来的歧义、数据使用门槛越来越高……这些问题日益凸显,成为企业发展迫在眉睫要解决的问题。


针对以上问题,我们建议企业以Kimball的维度建模为核心理念,借鉴典型互联网大型企业的海量数据架构设计思路,构建属于企业自己的数据架构体系——OneData


那么,到底什么是OneData体系?


OneData体系:即建立企业统一的数据公共层,从设计、开发、部署和使用上保障了数据口径的规范和统一,实现数据资产全链路管理,提供标准数据输出。该体系包含:数据规范定义体系、数据模型规范设计、ETL规范研发以及支撑整个体系从方法到实施的工具体系。


1388bef8aba5443d13b3a49618fdcc34f31b4f34


以数据规范体系为例,不同于以往分部门的指标混乱定义做法,OneData体系中,我们将此前个性化的数据指标进行规范定义,抽象成:原子指标、时间周期、其他修饰词等三个要素,如下所示:


cb1a3f86eb7072050b691c633f9e0e357f2c65f9


例如,以往业务方提出的需求是:最近7天的成交。而实际上,这个指标在规范定义中,应该结构化分解成为:


原子指标(支付订单金额)+修饰词-时间周期(最近7天)+修饰词-卖家类型(自营)。


这样做的好处是指标口径复用性强,可以极大的精简复杂的指标体系,便于理解和使用。


同时,我们也会借助工具(数栈——大数据开发套件)来帮助规范数据开发过程,替代传统的人工经验+人工约定模式,从根本上解决数据指标口径一致,各种场景下看到的数据一致性得到保障。


30078f3c5265855ca80066f0a9874538aa53e1ca


综上:袋鼠云能够提供企业指标梳理与规划服务,我们会依据多个企业落地项目的经验,借助工具帮助企业从资源层面开始梳理指标问题,协助企业数据部门回答有关指标缺失、指标不同统一等疑问,同时也能够结合业务场景帮助企业建立一个更加清晰、便于管理和拓展的指标体系,为企业数据化运营发展提供坚实的数据基础。


敬请期待袋鼠云数据中台专栏第7期:实体画像与标签体系建设





《袋鼠云数据中台专栏》

——为何而作?

企业的发展,往往伴随着业务更多元化,而与此同时企业在积极推进业务数据化,因此越来越多的企业伴随着各个垂直业务的发展,形成了一个个垂直的数据中心,如何打通这些数据并且以统一的标准进行建设,以达到技术降本、应用提效、业务赋能的目标,是众多企业面临的问题。

阿里巴巴提出的数据中台模式正是为解决这些问题而生,并通过实践形成了统一全域数据体系,实现了计算存储累计过亿的成本降低、响应业务效率多倍提升、为业务快速创新提供坚实保障。

中台首先是一种战略选择,一种组织形式,其次才是一些有形的产品支撑和实施的方法论。

袋鼠云核心团队曾参与阿里中台体系构建、实现,对阿里巴巴数据中台思想有着最深刻的理解,对数据中台技术有着深厚的积淀。

作为阿里云数加平台金牌合作伙伴、阿里云生态技术先锋(ITP),袋鼠云有责任肩负起数据中台思想传播和技术应用探讨的使命,和更多企业客户一起挖掘数据价值,让数据产生价值,让未来变成现在。

《袋鼠云数据中台专栏》
——每月2-3篇

“数据中台专栏”自5月25日起,已经持续更新5篇。

本专栏系由袋鼠云数据中台解决方案部门的众多资深业务架构师一起协力完成,更多精彩内容,敬请期待!

相关实践学习
使用CLup和iSCSI共享盘快速体验PolarDB for PostgtreSQL
在Clup云管控平台中快速体验创建与管理在iSCSI共享盘上的PolarDB for PostgtreSQL。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
26天前
|
关系型数据库 MySQL OLAP
PolarDB +AnalyticDB Zero-ETL :免费同步数据到ADB,享受数据流通新体验
Zero-ETL是阿里云瑶池数据库提供的服务,旨在简化传统ETL流程的复杂性和成本,提高数据实时性。降低数据同步成本,允许用户快速在AnalyticDB中对PolarDB数据进行分析,降低了30%的数据接入成本,提升了60%的建仓效率。 Zero-ETL特性包括免费的PolarDB MySQL联邦分析和PolarDB-X元数据自动同步,提供一体化的事务处理和数据分析,并能整合多个数据源。用户只需简单配置即可实现数据同步和实时分析。
|
1月前
|
存储 分布式计算 API
adb spark的lakehouse api访问内表数据,还支持算子下推吗
【2月更文挑战第21天】adb spark的lakehouse api访问内表数据,还支持算子下推吗
107 2
|
6月前
|
存储 Java 数据库连接
云数据仓库ADB不管是jdbc写入或者dts同步,均会存在丢数据的情况?
云数据仓库ADB不知道是不是磁盘出问题了不管是jdbc写入或者dts同步,均会存在丢数据的情况?
55 2
|
2月前
|
SQL 分布式计算 关系型数据库
Dataphin实现MaxCompute外表数据快速批量同步至ADB MySQL
当前大数据时代背景下,企业对数据的处理、分析和实时应用的需求日益增强。阿里云MaxCompute广泛应用于海量数据的ETL、数据分析等场景,但在将处理后的数据进一步同步至在线数据库系统,如ADB MySQL 3.0(阿里云自研的新一代云原生关系型数据库MySQL版)以支持实时查询、业务决策等需求时,可能会遇到数据迁移速度缓慢的问题。 DataphinV3.14版本支持外表导入SQL的带参调度,实现通过MaxCompute外表的方式将数据批量同步至ADB MySQL 3.0中,显著提升数据迁移的速度和效率。
280 1
|
3月前
|
Cloud Native 关系型数据库 分布式数据库
凭安征信引入阿里云PolarDB云数据库支撑企业征信核心业务系统
凭安征信是国家中小企业公共服务示范平台,主营信用管理服务包括信用管家、水滴信用及可信认证。通过采用阿里云PolarDB云原生数据库替代RDS数据库帮助客户全面实现业务系统性能提升1-2倍,通过PolarDB企业级能力的加持下,运维更加简便,操作更加简单,数据安全能力更强。
|
7月前
|
SQL 弹性计算 分布式计算
基于星轨-数据中台工具的数据探查
使用DataWorks对MaxCompute进行数据探查,通过星轨-数据中台工具进行对MaxCompute的数据探查
207 0
|
3月前
|
SQL 人工智能 NoSQL
向量数据库测试写入查看数据
向量数据库测试写入查看数据
101 0
|
4月前
|
Cloud Native 关系型数据库 MySQL
云数据仓库ADB如何更新、删除和导入AnalyticDBMySQL数据-更新数据?
云数据仓库ADB如何更新、删除和导入AnalyticDBMySQL数据-更新数据?
81 0
|
4月前
|
Cloud Native 关系型数据库 MySQL
云数据仓库ADB问一下,数据批量导入失败的有地方导出吗?
云数据仓库ADB问一下,数据批量导入失败的有地方导出吗?
37 0
|
4月前
|
关系型数据库 MySQL OLAP
云数据仓库ADB如何更新、删除和导入AnalyticDBMySQL数据-更新数据?
云数据仓库ADB如何更新、删除和导入AnalyticDBMySQL数据-更新数据?
199 0