本教程中,以A电商公司的营销业务板块为例,在交易主题域中,我们重点分析确认收货(交易成功)的业务过程。在确认收货的业务过程中,维度所依赖的业务角度主要有两个,即商品和收货地点(地域)。本教程中,假设收货和购买是同一个地点。...
当任务运行、质量规则、服务监控等系统触发了配置好的监控规则,系统就根据配置的接受方式发送钉钉群消息。邮箱也是类似,需要配置接收人的邮箱地址等参数。Dataphin中您可通过阿里云语音服务和阿里云短信服务进行服务的配置。通过这两个...
变更管控 变更策略 变更策略是根据您已经创建好的变更规则,设置其生效范围和管控方式。支持在单个变更策略中配置多个规则并给每个规则指定不同的管控方式。变更规则 变更规则是基于对象的基础属性抽象出元数据,结合系统内置规则或自定义...
通过元数据,组织可以有效地监控和分析其数据资产,以实现更好的决策支持和业务洞察。元数据分类 元数据根据用途分为技术元数据(Technical Metadata)、业务元数据(Business Metadata)和管理元数据(Management Metadata)。技术元数据...
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践,使用Dataphin助力企业数据中台的建设与管理,快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前,您需要了解...
通过元数据,组织可以有效地监控和分析其数据资产,以实现更好的决策支持和业务洞察。元数据分类 元数据根据用途分为技术元数据(Technical Metadata)、业务元数据(Business Metadata)和管理元数据(Management Metadata)。技术元数据...
通过元数据,组织可以有效地监控和分析其数据资产,以实现更好的决策支持和业务洞察。元数据分类 元数据根据用途分为技术元数据(Technical Metadata)、业务元数据(Business Metadata)和管理元数据(Management Metadata)。技术元数据是...
任务编辑器将自动提示已声明定义好的跨节点输出参数。将某一字段的别名设置为跨节点输出参数的名称,系统将自动将查询结果第一行相应字段的取值赋值给跨节点参数。说明 对于SQL任务,如果有多个语句输出跨节点参数,则每一个语句前的 set ...
业务活动 业务过程即企业的业务活动事件,通常为不可拆分的事件,是一个或者多个业务对象在某个时间或时间段,为了达成某种目的所进行的活动或者是某种活动的结果。维度逻辑表 丰富维度的属性信息形成的逻辑表。通过维度逻辑表可以设计及...
业务活动 业务过程即企业的业务活动事件,通常为不可拆分的事件,是一个或者多个业务对象在某个时间或时间段,为了达成某种目的所进行的活动或者是某种活动的结果。维度逻辑表 丰富维度的属性信息形成的逻辑表。通过维度逻辑表可以设计及...
背景信息 某公司的订单系统使用MySQL作为存储数据库,其中的oms_order为存储订单的表。现在要开始设计一个营销活动,在活动期间需要实时地统计每个产品类型的销售数量,用于快速地支持活动方案调整。以下为数据流向的示意图:订单系统MySQL...
背景信息 某公司的订单系统使用MySQL作为存储数据库,其中的oms_order为存储订单的表。现在要开始设计一个营销活动,在活动期间需要实时地统计每个产品类型的销售数量,用于快速地支持活动方案调整。以下为数据流向的示意图:订单系统MySQL...
例如,电商公司的商品维度可能有近百个维度属性,为下游的数据统计、分析、探查提供了良好的基础。尽可能多的给出包含一些富有意义的文字性描述。属性不应该是编码,而应该是真正的文字。在阿里巴巴维度建模中,通常是编码和文字同时存在,...
发布管控是基于用户已经设定好的管控规则及生效策略,在任务发布前执行对应的检查,以判断任务是否符合发布条件。针对校验不通过的任务,根据规则配置详情,会阻断发布流程(强管控)或给出警告提示但不阻塞发布(弱管控),以增强平台的...
发布管控是基于用户已经设定好的管控规则及生效策略,在任务发布前执行对应的检查,以判断任务是否符合发布条件。针对校验不通过的任务,根据规则配置详情,会阻断发布流程(强管控)或给出警告提示但不阻塞发布(弱管控),以增强平台的...
Dataphin支持通过直连数据源模式、服务单元API(SQL模式、向导模式)、逻辑表API(SQL模式、向导模式)、注册API和组合API五种方式创建API,不同任务对应不同的用途,本文为您简要说明API任务的不同用途。任务名称 任务用途 任务链接 通过...
Dataphin支持通过直连数据源模式、逻辑表API-SQL模式、逻辑表API-向导模式、注册API和组合API五种方式创建API,不同任务对应不同的用途,本文为您简要说明API任务的不同用途。任务名称 任务用途 任务链接 通过直连数据源模式创建API 直连...
资产清单统一展示Dataphin数据...主题域:为您展示数据架构部分已经创建好的主题域,便于您根据主题域更快捷地进行资产查询。更多详情请参见 主题域模型。资产清单入口 在Dataphin首页,单击顶部菜单栏的 治理-资产清单,进入资产清单页面。
资产清单统一展示Dataphin数据...主题域:为您展示数据架构部分已经创建好的主题域,便于您根据主题域更快捷地进行资产查询。更多详情请参见 主题域模型。资产清单入口 在Dataphin首页,单击顶部菜单栏的 治理-资产清单,进入资产清单页面。
变更管控 创建变更策略 变更策略是根据您已经创建好的变更规则,设置其生效范围和管控方式。支持在单个变更策略中配置多个规则并给每个规则指定不同的管控方式。创建变更规则 变更规则是基于对象的基础属性抽象出元数据,结合系统内置规则...
资产市场管理用于新建以及管理私有及公共资产市场的基本信息,包括市场管理员、市场类目、描述等,在工作台中开发好的标签都可以申请上架于资产市场。可以定义一个公共资产市场以及多个私有资产市场,项目中的标签仅可上架到关联的市场中,...
将已处理好的数据资产,安全、便捷地提供给数据消费者(例如:数仓开发人员,运营、销售、产品等业务人员),能够对有权限的数据进行数据分析,为业务决策提供数据支持,为业务开发创造新价值。前提条件 已购买资产运营和资产消费增值服务...
资产市场管理用于新建以及管理私有及公共资产市场的基本信息,包括市场管理员、市场类目、描述等,在工作台中开发好的标签 以及群组 都可以申请上架于资产市场。可以定义一个公共资产市场以及多个私有资产市场,项目中的标签 及群组 仅可...
变更策略是根据您已经创建好的变更规则,设置其生效范围和管控方式。支持在单个变更策略中配置多个规则并给每个规则指定不同的管控方式。本文为您介绍如何创建变更策略。背景信息 变更策略、生效时间、管理权限详细说明如下:变更策略:...
变更策略是根据您已经创建好的变更规则,设置其生效范围和管控方式。支持在单个变更策略中配置多个规则并给每个规则指定不同的管控方式。本文为您介绍如何创建变更策略。背景信息 变更策略、生效时间、管理权限详细说明如下:变更策略:...
步骤四:规范定义 规范建模 基于规范定义部分定义好的概念以及Dataphin的规范建模功能圈定来源数据,并完成模型建设。步骤五:规范建模 数据开发 基于 规范定义 明确好的统计指标口径和 规范建模 部分定义好的模型完成规范建模数据开发。...
步骤四:规范定义 规范建模 基于规范定义部分定义好的概念以及Dataphin的规范建模功能圈定来源数据,并完成模型建设。步骤五:规范建模 数据开发 基于 规范定义 明确好的统计指标口径和 规范建模 部分定义好的模型完成规范建模数据开发。...
2024年04月02日 尊敬的Dataphin用户:Dataphin独享模式(半托管版)在购买Dataphin软件的基础上,还需要购买软件部署所依赖的底层资源,云平台将基于已购资源在指定VPC中进行自动化部署,具备更好的安全性和可拓展性。您可以自行控制版本...
监控规则的内容和标准内容无关,但是在创建数据标准时添加了规则配置,则针对该标准映射到的所有资产对象,均可快捷引用标准已经配置好的监控规则,实现快速批量配置的目的。这种配置方式下,质量监控规则的 规则配置 和 校验配置 均为自行...
监控规则的内容和标准内容无关,但是在创建数据标准时添加了规则配置,则针对该标准映射到的所有资产对象,均可快捷引用标准已经配置好的监控规则,实现快速批量配置的目的。这种配置方式下,质量监控规则的 规则配置 和 校验配置 均为自行...
计算引擎类型 选择设置 计算引擎设置需要提前采购计算引擎MaxCompute资源,系统以此来支持相关数据的建设工作。需要选择计算引擎类型(目前仅开放MaxCompute计算类型),配置计算引擎所在的集群,例如Endpoint等信息。系统以此来支持该计算...
计算引擎类型 选择设置 计算引擎设置需要提前采购计算引擎MaxCompute资源,系统以此来支持相关数据的建设工作。需要选择计算引擎类型(目前仅开放MaxCompute计算类型),配置计算引擎所在的集群,例如Endpoint等信息。系统以此来支持该计算...
自定义资源组可以设置应用场景,以便更好的管控资源使用范围。应用场景包括 任务日常调度 和 批量运维操作。任务日常调度:任务日常调度的自定义资源组可用于即席查询、临时运行、周期调度等场景,需要配置可使用该资源组的关联项目。批量...
Dataphin将进一步加强资产治理方向的投入,正式更名为“智能数据建设与治理Dataphin”,希望能够更好地助力企业构建质量可靠、消费便捷、生产安全经济的企业级数据中台。更名公告,请参见 Dataphin更名通知。Dataphin正式商业化-2020年5月...
逻辑表构建:支持基于创建好的业务实体快速创建对应类型的逻辑表,将概念模型和逻辑模型的构建关联起来。零售行业概念模型示例 主题域模型 在创建概念模型前,您需要为先创建对应主题域。以下为通过Dataphin创建的零售业 主题域模型:一般...
逻辑表构建:支持基于创建好的业务实体快速创建对应类型的逻辑表,将概念模型和逻辑模型的构建关联起来。零售行业概念模型示例 主题域模型 在创建概念模型前,您需要为先创建对应主题域。以下为通过Dataphin创建的零售业 主题域模型:一般...
Dataphin 是阿里巴巴十余年内部实践及方法论的产品化输出,为企业提供数据建设、治理、运营、消费的Data x AI全链路服务,深度适配湖仓一体架构,灵活兼容多云复杂环境,助力企业高效构建标准化数据资产体系,加速释放数据价值。
Dataphin面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力,包括产品、技术和方法论等,可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...
划分示例 例如,A公司电商营销业务板块可以划分为如下表所示的主题域。主题域中的每一部分,都是根据实际业务过程进行归纳、抽象得出的。主题域 业务过程举例 会员和店铺域 注册、登录、装修、开店、关店 商品域 发布、上架、下架、重发 ...
在基于Dataphin构建与管理企业数据中台之前,首先需要确定数仓构建的目标与需求,进行全面的业务调研。您需要了解真实的业务需求是什么,以及确定整个业务系统能解决什么问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石,...