本文为您介绍任务发布的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限；表示该角色与此功能权限无关。更多角色说明 自定义项目角色是Dataphin基于产品的功能，对数仓规划、数据集成、数据开发、项目资产权限...
MaxCompute中的DML语句包括插入、更新和删除数据操作。本文为您介绍Dataphin支持的MaxCompute的DML操作语句。功能 是否支持 插入或覆写数据（INSERT INTO|INSERT OVERWRITE）支持 insert {into|overwrite} table[partition()]...
Dataphin支持对接不同的消息发送渠道，包括系统内置的电话、短信、邮件和钉钉群机器人，同时支持用户自定义消息渠道。功能介绍 Dataphin中您可通过钉钉群或邮件发送告警消息。在成员管理中配置好成员的钉钉群机器人的webhook（如何配置钉钉...
校验记录用于记录质量规则校验Dataphin数据表、全域数据表、指标、数据源和实时元表的结果并支持查看每一条质量规则的校验结果。权限说明 超级管理员、质量管理员可查看所有校验记录。项目成员可查看自己所加入的项目的校验记录。...
校验记录用于记录质量规则校验Dataphin数据表、全域数据表、指标、数据源和实时元表的结果并支持查看每一条质量规则的校验结果。权限说明 超级管理员、质量管理员可查看所有校验记录。项目成员可查看自己所加入的项目的校验记录。...
MaxCompute中的DML语句包括插入、更新和删除数据操作。本文为您介绍Dataphin支持的MaxCompute的DML操作语句。功能 是否支持 插入或覆写数据（INSERT INTO|INSERT OVERWRITE）支持 insert {into|overwrite} table[partition()]...
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
State是Flink实时任务维持和管理数据状态的机制。通过合理的配置Flink的State数据过期时间可以提高资源利用率、内存管理、数据一致性和容错性。本文将为您介绍如何配置Flink实时任务的State过期时间。操作步骤 请参见 实时模式配置入口，...
State是Flink实时任务维持和管理数据状态的机制。通过合理的配置Flink的State数据过期时间可以提高资源利用率、内存管理、数据一致性和容错性。本文将为您介绍如何配置Flink实时任务的State过期时间。操作步骤 请参见 实时模式配置入口，...
映射关系是指资产对象和数据标准之间的映射关系，仅针对已确认映射关系的资产对象进行落标监控评估。映射关系说明 映射关系分为 有效映射 和 无效映射。有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据...
映射关系是指资产对象和数据标准之间的映射关系，仅针对已确认映射关系的资产对象进行落标监控评估。映射关系说明 映射关系分为 有效映射 和 无效映射。有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据...
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
发布管控是基于用户已经设定好的管控规则及生效策略，在任务发布前执行对应的检查，以判断任务是否符合发布条件。针对校验不通过的任务，根据规则配置详情，会阻断发布流程（强管控）或给出警告提示但不阻塞发布（弱管控），以增强平台的...
任务管理帮助您管理数据资产治理中的治理项类型任务和推送类型任务。本文为您介绍如何查看任务详情、重跑任务、查看日志。推送类型 和 治理项类型 的任务管理功能模块是相似的，本章节以 治理项类型 为例进行介绍。进入任务管理页面 在...
任务管理帮助您管理数据资产治理中的治理项类型任务和推送类型任务。本文为您介绍如何查看任务详情、重跑任务、查看日志。推送类型 和 治理项类型 的任务管理功能模块是相似的，本章节以 治理项类型 为例进行介绍。进入任务管理页面 在...
如果您已购买了数据服务模块，即可基于Dataphin生成API和消费API。应用是数据服务消费API的主体，也是用户调用API的身份令牌。如果您需要消费他人生成的API，则需要申请该API所在的应用权限。前提条件 已购买数据服务增值服务，详情请参见 ...
本文为您介绍如何基于本教程完成 订单总金额 原子指标开发。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。按照下图操作指引，进入 新建原子指标 对话框。在 新建原子指标 对话框，配置参数。配置 基本信息 区域参数。...
数据仓库是面向主题的应用，主要功能是将数据综合、归类并进行分析利用。数据仓库模型设计除横向的分层外，通常还需要根据业务情况纵向划分主题域。主题域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念层次归类，目的是便于...
本文为您介绍如何基于本教程完成 订单总金额 原子指标开发。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。按照下图操作指引，进入 新建原子指标 对话框。在 新建原子指标 对话框，配置参数。配置 基本信息 区域参数。...
本文为您介绍如何下载离线单条管道脚本及查看脚本的历史版本详情。前提条件 完成离线单条管道的创建，详情请参见 通过单条管道创建集成任务。查看历史版本详情 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域 后，单击 进入...
在使用Dataphin前，超级管理员需要通过管理中心添加Dataphin成员及设置Dataphin实例的计算引擎。同时您也可以配置计算和存储资源的规则，优化逻辑表任务、SQL查询任务及设置查询引擎，以提高数据构建效率。使用限制 仅支持超级管理员在管理...
发布管控是基于用户已经设定好的管控规则及生效策略，在任务发布前执行对应的检查，以判断任务是否符合发布条件。针对校验不通过的任务，根据规则配置详情，会阻断发布流程（强管控）或给出警告提示但不阻塞发布（弱管控），以增强平台的...
本文为您介绍如何验证同步任务的运行结果。前提条件 如果您创建的同步任务的调度类型为 手动任务，完成同步任务的运行，详情请参见 执行同步任务。操作步骤 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域后，单击 进入...
本文为您介绍智能引擎下编码规范支持的配置项以及各项配置说明。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 编码规范 页签，设置编码规范相关配置。配置项 描述 禁止即席查询中使用“select*”语法查询汇总...
项目是Dataphin的基本组织单元，用于进行多用户隔离和访问控制的主要边界。功能概述 通用项目：主要用于数据集成、数据开发等任务的创建以及管理。若您需要以项目为单位，划分业务领域进行数据研发，您可以创建通用项目，从而能够高效的...
Dataphin治理功能助您完成数据使用消耗的分析，全局把控计算与存储成本，提升使用效率。前提条件 已购买资源治理增值服务，详情请参见 开通Dataphin。使用说明 资源治理的统计不包括计算引擎为Hologres的项目，也不支持对这些项目的治理。...
Dataphin治理功能助您完成数据使用消耗的分析，全局把控计算与存储成本，提升使用效率。前提条件 已购买资源治理增值服务并且当前租户已开通 资源治理 模块。使用说明 资源治理的统计不包括计算引擎为Hologres的项目，也不支持对这些项目的...
维度即进行统计的对象。通常，维度是实际客观存在的实体。Dataphin遵循Ralph Kimball的维度建模理论，创建维度，即从顶层规范业务中实体（或称主数据）的存在性及唯一性。维度及维度组合，也是派生指标的统计粒度。例如，在分析交易过程时...
维度即进行统计的对象。通常，维度是实际客观存在的实体。Dataphin遵循Ralph Kimball的维度建模理论，创建维度，即从顶层规范业务中实体（或称主数据）的存在性及唯一性。维度及维度组合，也是派生指标的统计粒度。例如，在分析交易过程时...
Dataphin支持通过数据同步的方式，将业务数据源的数据引入Dataphin平台。背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全...
本文为您介绍智能引擎下编码规范支持的配置项以及各项配置说明。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 编码规范 页签，设置编码规范相关配置。配置项 描述 禁止即席查询中使用“select*”语法查询汇总...
本文为您介绍如何下载离线单条管道脚本及查看脚本的历史版本详情。前提条件 完成离线单条管道的创建，详情请参见 通过离线单条管道配置集成任务。查看历史版本详情 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域 后，单击 ...
变更规则是基于对象的基础属性抽象出元数据，结合系统内置规则或自定义代码编写的逻辑条件而组成的校验规则；规则校验不通过的对象即被纳入管控，结合变更策略判断管控方式。本文为您介绍如何创建变更规则。使用限制 仅超级管理员和系统...
本文为您介绍如何验证同步任务的运行结果。前提条件 如果您创建的同步任务的调度类型为 手动任务，完成同步任务的运行，详情请参见 执行同步任务。操作步骤 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域后，单击 进入...
资产全景及目录基于Dataphin平台，为数据资产提供系统化管理，使资产好找、好用、好管理。整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据...
变更规则是基于对象的基础属性抽象出元数据，结合系统内置规则或自定义代码编写的逻辑条件而组成的校验规则；规则校验不通过的对象即被纳入管控，结合变更策略判断管控方式。本文为您介绍如何创建变更规则。使用限制 仅超级管理员和系统...
身份管理 在阿里云公共云环境下，Dataphin支持访问公共云控制台（RAM）的用户管理及认证。...角色管理 对于添加到Dataphin的用户，管理员可以使用全局角色和项目角色管理成员的权限。全局角色 全局角色用于管理Dataphin全局功能的操作权限或者...
项目是Dataphin的基本组织单元，是进行多用户隔离和访问控制的主要边界。功能概述 Dataphin支持创建两种类型的项目：通用项目和标签项目。通用项目：主要用于数据集成、数据开发等任务的创建以及管理。若您需要以项目为单位，划分业务领域...
Dataphin支持通过数据同步的方式，将业务数据源的数据引入Dataphin平台。背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全...
规范定义是指以业务对象建模作为理论基础，构建总线矩阵，划分并定义主题域（数据域）、业务活动、业务对象、原子指标、业务限定、时间周期和派生指标。本文为您介绍在本教程中如何进行规范定义。基本概念 业务实体：业务对象 业务对象是...