多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则...
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则...
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
明细数据层（DWD，Data Warehouse Detail）：以业务过程作为建模驱动，基于每个具体的业务过程特点，构建最细粒度的明细事实表。可以结合企业的数据使用特点，将明细事实表的某些重要属性字段做适当冗余，也即宽表化处理。在Dataphin中，...
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图...
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择数据同步的来源表：如果 来源表量 选择了 ...
导出列头 选择是否导出列头：导出：会在每一个文件中的第一行输出字段名。不导出：则文件的第一行为数据。输入字段 展示从输入表中读取的字段。输出字段 展示目标表的字段。同时您也可以通过 批量添加 和 新建输出字段 的方式手动添加输出...
校验成功后，单击 确认并开始数据建设，即可开始数据建设。后续步骤 完成设置Dataphin实例的计算引擎后，您就可以准备后续数据研发过程中用于读取和写入数据的数据源、用于提供计算资源的计算源。具体操作，请参见 准备数据源和计算源。
网站建设方案书（非必选）：域名前缀超过5个时（含5个），需提供每个域名的网站建设方案书和情况说明书。需要提供的资料请根据审核员给的地址邮寄至阿里云。网站负责人人脸核验。更多详情请参见 ICP备案主体为企业或组织。ICP备案流程概述 ...
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍周期离线管道调度依赖配置说明。操作步骤 请参见，进入离线集成任务 属性 面板。在 调度依赖 区域，配置集成任务 调度...
网站建设方案书：网站数量超过31个时（不含31个），需提供每个网站的网站建设方案书。企业可使用营业执照备案。自2018年01月01日0点起，对提交的网站ICP备案申请，进行网站备案域名核验。详情请参见 网站备案域名核验。域名有效期需大于或...
4*13 财务日历：每年52周，分为13个月，每月4周，每6年的最后一个财务月将多一周。5-4-4 财务日历：每年52周，每个季度13周，季度内每月周数遵循5-4-4，每6年的最后一个财务月将多一周。4-5-4 财务日历：每年52周，每个季度13周，季度内每...
4*13 财务日历：每年52周，分为13个月，每月4周，每6年的最后一个财务月将多一周。5-4-4 财务日历：每年52周，每个季度13周，季度内每月周数遵循5-4-4，每6年的最后一个财务月将多一周。4-5-4 财务日历：每年52周，每个季度13周，季度内每...
单条管道任务：支持 可视化拖拽方式 将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。具体操作，请参见 通过单条管道创建集成任务。脚本管道任务：支持 脚本代码方式 将一个或多个来源数据源的单表或多表同步到一个或多...
单条管道任务：支持 可视化拖拽方式 将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。具体操作，请参见 通过单条管道创建集成任务。脚本管道任务：支持 脚本代码方式 将一个或多个来源数据源的单表或多表同步到一个或多...
统计指标包括派生指标、原子指标、业务限定、业务过程和统计粒度（即维度）。在设计模型前，建议先完成该部分工作，以便设计出易于使用的数据仓库。指标定义注意事项 原子指标是明确统计口径和计算逻辑，事实模型或维度模型定义完成，即可...
实时计算模板指进行实时数据研发过程中实时计算任务开发所提供的模板，可提高研发效率。本文为您介绍如何新建及管理实时计算模板。应用场景 基本场景下，实时计算任务需24小时不间断运行，以保证数据产出的实效性。在该要求下实时任务的...
实时计算模板指进行实时数据研发过程中实时计算任务开发所提供的模板，可提高研发效率。本文为您介绍如何新建及管理实时计算模板。应用场景 基本场景下，实时计算任务需24小时不间断运行，以保证数据产出的实效性。在该要求下实时任务的...
根据阿里巴巴OneData方法论，明确每个主题域中有哪些业务过程后，您需要开始定义维度，并基于维度构建总线矩阵。定义维度 在划分主题域、构建总线矩阵时，需要结合对业务过程的分析定义维度。本教程中，以A电商公司的营销业务板块为例，在...
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍周期离线管道调度依赖配置说明。操作步骤 请参见 离线集成任务属性入口，进入离线集成任务 属性 面板。在 调度依赖 ...
调度依赖用于配置逻辑表和事实逻辑表任务节点，Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表和事实逻辑表的调度依赖配置。操作步骤 请参见 数据...
数据库配置 SQL执行超时时长 应用于准备语句SQL和完成语句SQL的执行超时时长，任一SQL语句执行超过该时长则置任务失败。默认30分钟，最小值为1，最大值为2880分钟（48小时）。重要 输出组件所配置的查询超时优先于管道配置的查询超时时间。...
数据库配置 SQL执行超时时长 应用于准备语句SQL和完成语句SQL的执行超时时长，任一SQL语句执行超过该时长则置任务失败。默认30分钟，最小值为1，最大值为2880分钟（48小时）。重要 输出组件所配置的查询超时优先于管道配置的查询超时时间。...
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 URL地址 请填写API请求的URL...
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 URL地址 请填写API请求的URL...
例如电商订单是一个业务过程，业务过程由下单、支付、发货和确认收货等不可拆分的事件组成，每个事件就是一个业务过程。统计周期 统计的时间范围，也可以称为时间周期。例如最近1天、最近30天等（类似于SQL中Where后的时间条件）。统计粒度...
以维度作为建模驱动，基于每个维度的业务含义，通过定义维度及维度主键，添加维度属性、关联维度等定义计算逻辑和雪花模型，完成属性定义的过程并建立一致的数据分析维表。同时您可以定义维度主子关系，子维度的属性将合并至主维度使用，...
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一：阿里云账号资源准备 ...
例如电商订单是一个业务过程，业务过程由下单、支付、发货和确认收货等不可拆分的事件组成，每个事件就是一个业务过程。统计周期 统计的时间范围，也可以称为时间周期。例如最近1天、最近30天等（类似于SQL中Where后的时间条件）。统计粒度...
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一：阿里云账号资源准备 ...
本文将介绍使用标签工厂进行离线标签开发及应用的全流程，帮助您快速上手标签工厂。标签工厂概述 Dataphin标签工厂为您提供实体、实体ID定义，标签资产市场类目管理，行为、标签加工、管理、服务等功能。您可以通过Dataphin标签沉淀易开发...
API发布管控 API发布到线上使用的过程中，有四种变更场景（新增必填请求参数；删减请求参数；删减返回参数；变更请求参数的数据类型），导致影响API以及关联的组合API的正常调用。因此，在API绑定应用或者被组合API引用后，API发布新版本到...
生产环境敏感数据写入开发环境脱敏 当因为测试需要等原因，需要将生产环境的数据写入开发环境时，为了保护敏感数据不泄露，数据在写入的过程中，就会自动按照配置的脱敏规则脱敏，从而保证敏感数据不会流入开发环境。敏感数据的数据集成加...
生产环境敏感数据写入开发环境脱敏 当因为测试需要等原因，需要将生产环境的数据写入开发环境时，为了保护敏感数据不泄露，数据在写入的过程中，就会自动按照配置的脱敏规则脱敏，从而保证敏感数据不会流入开发环境。敏感数据的数据集成加...
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
核心概念 名词 说明 相关文档 标准集 标准集是规范相似或一致、业务含义相关的一组标准的合集，定义了该集合下的数据标准的管理和查看权限、发布流程的审批模板等信息，以便对数据标准进行更精准的管控。每个数据标准都必须归属唯一的一个...
核心概念 名词 说明 相关文档 标准集 标准集是规范相似或一致、业务含义相关的一组标准的合集，定义了该集合下的数据标准的管理和查看权限、发布流程的审批模板等信息，以便对数据标准进行更精准的管控。每个数据标准都必须归属唯一的一个...
业务流程通常与业务板块紧密耦合，对应一个或多个表及其所属数据源，可以作为构建数仓的原始数据来源。下表展现的是一个营销业务板块的业务流程模块。业务流程 A公司电商营销管理 商品管理 Y 用户管理 Y 购买流程 Y 交易订单 Y 用户反馈 Y ...
数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。数据标准包括数据标准、标准集、落标映射规则、标准代码（码表）、词根等功能。升级规则如下：敏捷研发版可升级为基础研发版或智能研发版。基础研发版可升级为...