袋鼠云数据中台专栏2.0 | 企业数据化认知:数据就是生产力!

简介: 关于袋鼠云数据中台专栏V2.0数据中台如何定义?企业数据化与数据中台的关系是什么?数据中台如何支撑企业战略转型? 袋鼠云近两年来,先后为国内数十家大型龙头企业提供数据中台咨询与实施落地服务,积累了大量的实战经验,同时也在为客户服务的过程中,不断完善和升华自身的数据中台理论体系和实践方法论。

关于袋鼠云数据中台专栏V2.0
数据中台如何定义?企业数据化与数据中台的关系是什么?数据中台如何支撑企业战略转型?

袋鼠云近两年来,先后为国内数十家大型龙头企业提供数据中台咨询与实施落地服务,积累了大量的实战经验,同时也在为客户服务的过程中,不断完善和升华自身的数据中台理论体系和实践方法论。希望通过后续文章的分享,与诸位读者交流,共同加快企业全面数据化进程。

本专栏每周更新1-2篇,敬请期待~

正文

一、

数据就是生产力。笔者两年前在袋鼠云做的国内某省一个交警项目上,面对着海量的车辆轨迹数据时,第一次感受到什么是数据的力量。

该项目是一个非常典型的数据中台项目,主要数据资源有:省内机动车辆数据、驾驶员数据、交通违章数据、公安系统等相关数据。核心数据是通过摄像头识别到的车辆轨迹数据,包含:车辆牌照数据、采集时间和采集地点数据,以及部分公路上获取到的移动电子设备数据。

袋鼠云的团队利用这些数据做了以下应用:

车码合一算法

利用已掌握的移动设备轨迹数据和车辆轨迹数据,来计算移动设备和车辆的匹配关系(由于这两种数据由两套设备分别采集,数据获取存在一个不确定的时间差,且每个采集点都是多车辆同时通过,所以无法直接判断哪个移动设备是在哪个具体车上)。

为了解决这个问题,该项目起初的算法采用「概率计算模式」,匹配时间长,匹配准确率低。袋鼠云选择采用了另一个逻辑匹配方式,实现了一辆汽车经过两三个检测点,就能够知道该车中的乘客所持移动设备与车辆的匹配关系,而且一旦匹配成功,即为确定关系。

该算法目前已申请专利,详情还可查看专利
专利名:一种交通监控数据匹配方法、系统及存储设备

申请人:杭州玳数科技有限公司
申请日:2017-09-22
主分类号:G08G1/01(2006.01)I

通过该算法,最终我们可以清晰地了解到手机与车辆对应的实时详细信息,最后对手机与车辆的关联关系进行汇总统计,为案件侦破提供数据支持。

黑车标签

以前,非常有经验的交警才可以很明显地根据车辆轨迹数据,发现疑似黑车的车辆。如何将经验转化为通过统计学的方式进行黑车标记,我们团队成功探索出了以下三种方式:

一种是「专家经验算法」,预制专家模型,筛选黑车。

另一种是标定所有出租车,然后用出租车轨迹模型来构建「黑车轨迹模型」。

第三种是在第二种方法的基础上,「利用确认的黑车结果,反向对模型进行再次优化」。几种算法使用后,我们可以拿出该城市的详细黑车名单。

运毒车辆模型

我们利用「专家模型」,在海量车辆轨迹中寻找和标定可疑车辆,并对车辆当前轨迹进行实时分析和判断,将以往在高速上某一时间段内的逢车必查模式,变成了逢车必查和重点车辆预警结合模式,从而使得黑车筛选效率大幅提升。

当我们的团队,在计算机屏幕和交警监控大屏后辅助公安干警抓获一个一个犯罪嫌疑人的时候,笔者感觉自己的团队正在触碰一个传统业务中从未触碰到的领域。全知和全能是用来描绘造物主的,虽然我们还离这个定位有着遥远的距离,但已然真实地朝这个方面迈出了坚实的一步。

二、

数据是生产力。

笔者要讲的另一个例子是「国内某知名电商平台」对顾客所做的「标签体系」。这个也算是一个业内半公开的例子了吧,据说该企业对顾客的标签在3000个以上,也有一个讲法是该平台比你更了解你的老婆。

曾经有人认为电子商务是一个零和游戏,只是把传统渠道中的一部分钱抢夺了过来而已。

其实,电商充分地利用了其所掌握的大量客户行为数据,精准描绘用户画像,然后通过精准的营销方式极大激发了用户的购物欲望(买买买),从而创造出更多的消费需求。据笔者不准确估算,该企业每年在数据上所投入的成本应当是以百亿计(几万个节点的存储, 15%以上的员工为数据相关人员)。商人是逐利的,可以想象这些投入所带来的商业产出又有几何。

数据是每个人最原始的一种欲望。如果数据真的极大丰富了,笔者也许会希望知道天空中某只鸟儿何时发出过一声鸣叫,遥远的海边是否又有一朵溅起的浪花,深邃的宇宙中某个不知名的星球上是不是在发生过一场空前的风暴。然而这些最原始的渴望在种种现实条件的约束之下被深深的隐藏了起来。

当前的时代,随着信息化和互联网化进程的完善,人们各种行为的上线让我们有机会积累大量的数据,这给了我们一次小小的契机,可以利用大数据处理技术将这些源数据变成一种新的生产力,谁能够优先地掌握和使用好这种力量,就必定会对企业整体能力带来又一次的提升。

三、

数据是生产力,可以作用于企业的方方面面:

描绘事实
无论是描述“事”,还是描述“物”,用数据说话永远都显得更准确一些。即使远隔千里之外,只要把主要经营指标显示出来,那么一个企业大体上的业务情况就能够了解到,正所谓运筹帷幄之中,决胜千里之外。

数据便是对客观业务关键要素的一种提炼和抽象。好比医生看患者,先不管高矮胖瘦,看病之前,做上一系列检查,然后得到各项身体体征数据,对病人的整体情况也就有了一个基本的了解。

又好比笔者的团队,目前有多少个项目,哪些赚钱,哪些不赚钱,每个项目都进展到了什么程度,投入了多少人,花了多少钱,收了多少钱,还有多长时间做完,有没有什么风险等等,都是笔者要花很多时间每周都去梳理的。

然而:

在很多企业中即使是最基本的用数据描绘清楚业务,并在第一时间获取到这些数据这个需求都往往得不到满足。

洞悉细节

数据会比人更加精准和敏感,通过数据可以相对容易地发现事物之间的隐秘关系。笔者上面所提到的车码合一算法就属于这个范畴。

最简单的关联商品分析也可以在实际应用中取得巨大成果。拿笔者在袋鼠云负责实施的一个项目举例:在该客户的线下零售门店中,我们在顾客完成商品购买时,利用管理「商品关联分析」和「顾客消费偏好分析」的「综合推荐结果」,在顾客购物小票下方打印一个实时的促销小票,推荐一款或者几款关联商品并给予一定折扣。根据最后的统计,这个动作为平均为每个门店提升了八到十个点的营业额。

数据智能

相对基础的算法就能够解决企业中的很多问题,尤其是面对大规模生产和运营场景的时候,往往依靠人的经验就会变得非常被动。基本的统筹算法还有最优效益的求解分析,会为日常工作很多的指导。线上数据的丰富和机器学习算法一方面让以往很多场景形成完整的「数据闭环」,另一方面也可以借助众多的数据进一步优化算法模型。当丰富的数据量和数据计算引擎都具备时,算法工程师会为企业创造很多意想不到的收获和惊喜。

四、

数据是生产力,但有时候也会是一种桀骜的力,用得不好,不但浪费了企业投入的大量资本,更让业务上的一系列配合动作无果而终,甚至伤到企业元气,表现在以下几个方面:

只重视「数据应用」,不注重「数据获取」和「数据质量治理」。

不能够清晰地知道一个数据应用所对应的「数据供应链」,从而无法评估获取最终数据的整体成本、过程与时间周期,很多应用对这个过程估计不足,最后无果而终。

过于关注大数据的故事,而忽视了很多基础的业务统计工作。

数据化本身比较复杂,而且也非常综合,不是一种力量就能够解决的(是企业级战略,而不是部门级工作)。

数据化缺乏整体架构和规划,小需求难以驱动基础平台建设(要集中力量办大事,基础平台问题要在企业整体层面统一解决)。

所以大部分的企业在这种力量面前,都显得犹豫不定和裹步不前,很多“理智”的企业则是驻足观望等待结果,只有少数头部客户有勇气和担当做一个探索者和先行者,尝试启动企业全面数据化的转型工作。

袋鼠云从成立之初便伴随着数十个行业头部客户,一起进行企业全面数据化转型建设。这个过程无疑是艰辛的,但也是收获丰富的。后续的文章中,笔者会成体系的分享出来,与广大读者交流探讨。

下期预告

企业数据化的建设,更多的要依靠规划和设计来驱动。

我们期望把这种规划和设计变成一个可见的,可以使用的引擎用以驱动整个企业数据化建设。

笔者用一个比喻来形容整个过程。我们把数据比作最原始的食材,业务方比作食客,数据团队是厨子,数据中台是厨房。

如何烹饪好“企业数据化建设”这盘菜,且看

袋鼠云数据中台专栏V2.0第三期:企业数据化认知 — 数据化建设三范式

敬请期待!

本文作者

张旭 (花名:老虎)

袋鼠云解决方案与交付副总裁

原用友股份应用集成业务部总经理,主数据管理专家、业务创新带头人

曾主导数十家国内500强企业的数字化建设原型项目的规划与落地

拥有十多年企业服务和项目管理实施经验

相关阅读
袋鼠云数据中台系列专栏V1.0
浅析数据中台策略与建设实践

数据资源规划与获取

数据质量分析及提升

数据中台设计与数据资产管理

数栈,企业级一站式数据中台PaaS

企业数据指标的那些事儿

用户标签体系建设的四字箴言

数据应用与规划

袋鼠云数据中台团队2018年低调出品

关于袋鼠云
袋鼠云是企业数据化整体解决方案提供商,是数据中台架构倡导者、引领者,通过打通数据供应链,构建企业数据化驱动引擎,加速企业数据化进程,让数据成为企业核心竞争力。

相关实践学习
使用CLup和iSCSI共享盘快速体验PolarDB for PostgtreSQL
在Clup云管控平台中快速体验创建与管理在iSCSI共享盘上的PolarDB for PostgtreSQL。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
1月前
|
关系型数据库 MySQL OLAP
PolarDB +AnalyticDB Zero-ETL :免费同步数据到ADB,享受数据流通新体验
Zero-ETL是阿里云瑶池数据库提供的服务,旨在简化传统ETL流程的复杂性和成本,提高数据实时性。降低数据同步成本,允许用户快速在AnalyticDB中对PolarDB数据进行分析,降低了30%的数据接入成本,提升了60%的建仓效率。 Zero-ETL特性包括免费的PolarDB MySQL联邦分析和PolarDB-X元数据自动同步,提供一体化的事务处理和数据分析,并能整合多个数据源。用户只需简单配置即可实现数据同步和实时分析。
|
1月前
|
存储 分布式计算 API
adb spark的lakehouse api访问内表数据,还支持算子下推吗
【2月更文挑战第21天】adb spark的lakehouse api访问内表数据,还支持算子下推吗
107 2
|
2月前
|
SQL 分布式计算 关系型数据库
Dataphin实现MaxCompute外表数据快速批量同步至ADB MySQL
当前大数据时代背景下,企业对数据的处理、分析和实时应用的需求日益增强。阿里云MaxCompute广泛应用于海量数据的ETL、数据分析等场景,但在将处理后的数据进一步同步至在线数据库系统,如ADB MySQL 3.0(阿里云自研的新一代云原生关系型数据库MySQL版)以支持实时查询、业务决策等需求时,可能会遇到数据迁移速度缓慢的问题。 DataphinV3.14版本支持外表导入SQL的带参调度,实现通过MaxCompute外表的方式将数据批量同步至ADB MySQL 3.0中,显著提升数据迁移的速度和效率。
286 1
|
3月前
|
Cloud Native 关系型数据库 分布式数据库
凭安征信引入阿里云PolarDB云数据库支撑企业征信核心业务系统
凭安征信是国家中小企业公共服务示范平台,主营信用管理服务包括信用管家、水滴信用及可信认证。通过采用阿里云PolarDB云原生数据库替代RDS数据库帮助客户全面实现业务系统性能提升1-2倍,通过PolarDB企业级能力的加持下,运维更加简便,操作更加简单,数据安全能力更强。
|
3月前
|
存储 关系型数据库 数据库
云数据库如何确保数据的安全性和可靠性?
云数据库如何确保数据的安全性和可靠性?
48 0
|
3月前
|
SQL 人工智能 NoSQL
向量数据库测试写入查看数据
向量数据库测试写入查看数据
103 0
|
4月前
|
Cloud Native 关系型数据库 MySQL
云数据仓库ADB如何更新、删除和导入AnalyticDBMySQL数据-更新数据?
云数据仓库ADB如何更新、删除和导入AnalyticDBMySQL数据-更新数据?
81 0
|
4月前
|
Cloud Native 关系型数据库 MySQL
云数据仓库ADB问一下,数据批量导入失败的有地方导出吗?
云数据仓库ADB问一下,数据批量导入失败的有地方导出吗?
37 0
|
4月前
|
关系型数据库 MySQL OLAP
云数据仓库ADB如何更新、删除和导入AnalyticDBMySQL数据-更新数据?
云数据仓库ADB如何更新、删除和导入AnalyticDBMySQL数据-更新数据?
199 0
|
4月前
|
存储 数据采集 缓存
云数据仓库ADB问一下,数据批量导入失败的有地方导出吗?
云数据仓库ADB问一下,数据批量导入失败的有地方导出吗?
35 0