映射关系是指资产对象和数据标准之间的映射关系，仅针对已确认映射关系的资产对象进行落标监控评估。映射关系说明 映射关系分为 有效映射 和 无效映射。有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据...
用户可以通过设置调度时区来更好地管理任务，在多时区的协作环境中，正确配置调度时区能够确保任务按照预期的时间执行，避免因时区差异导致的误解或延迟。操作步骤 在Dataphin首页的顶部菜单栏中，选择 管理中心 系统设置。在左侧导航栏中...
用户可以通过设置调度时区来更好地管理任务，在多时区的协作环境中，正确配置调度时区能够确保任务按照预期的时间执行，避免因时区差异导致的误解或延迟。操作步骤 在Dataphin首页的顶部菜单栏中，选择 管理中心 系统设置。在左侧导航栏中...
映射关系是指资产对象和数据标准之间的映射关系，仅针对已确认映射关系的资产对象进行落标监控评估。映射关系说明 映射关系分为 有效映射 和 无效映射。有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据...
资产清单统一展示Dataphin数据...主题域：为您展示数据架构部分已经创建好的主题域，便于您根据主题域更快捷地进行资产查询。更多详情请参见 主题域模型。资产清单入口 在Dataphin首页，单击顶部菜单栏的 治理-资产清单，进入资产清单页面。
本文为您介绍逻辑表DML操作语句。操作 语法 说明 INSERT OVERWRITE insert overwrite table table_name[partition(pt_spec)](col_name,col_name.)select_statement from from_statement;插入或覆写数据。仅维度逻辑表、汇总逻辑表、事实...
在您完成 系统初始化 后，您可为Dataphin添加对应计算源。已添加的计算源可用于绑定Dataphin项目，为Dataphin项目提供处理任务的计算源。功能概述 您可根据业务需求添加相应计算源，各计算源描述及创建说明如下：计算设置 计算源 ...
本文为您介绍标准清单的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限。标准清单权限列表 权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 普通成员 查看标准详情 Y Y Y Y Y Y
查看所选业务日期中，所选租户的任务实例统计。查看状态分布和近7日实例数 状态分布：选择业务日期（默认为T-1）和租户来查询对应租户在所选业务日期中的任务实例状态分布。状态分布将通过饼图展示，若不选择业务日期和租户，则统计最近...
校验记录用于记录质量规则校验Dataphin数据表、全域数据表、指标、数据源和实时元表的结果并支持查看每一条质量规则的校验结果。权限说明 超级管理员、质量管理员可查看所有校验记录。项目成员可查看自己所加入的项目的校验记录。...
本文为您介绍资产目录的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限。资产目录权限列表 权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 普通成员 搜索资产 Y Y Y Y Y Y 查看资产详情 Y...
在您完成离线数据集的创建或行为关系的定义后，您可为所创建的离线数据集或行为关系创建对应的离线标签，以便后续的资产应用创建。如标签服务、画像服务的创建。功能概述 您可根据业务需求创建所需的离线标签，离线标签的加工方式不同创建...
Dataphin计算引擎AnalyticDB for PostgreSQL中预内置了诸多系统函数，可满足大部分业务场景的数据处理需求。本文为您介绍AnalyticDB for PostgreSQL提供的系统函数类型及函数使用相关说明。函数类型 AnalyticDB for PostgreSQL预置的函数...
质量大盘为您展示质量规则校验的表数、校验结果为异常的表数、规则应用趋势、规则异常趋势，帮助您从整体质量规则校验结果的视角出发，快速识别并处理异常的校验结果。质量大盘介绍 质量大盘页面默认为您展示今日的全局质量监控数据。...
本文将为您介绍告警中心中的告警事件、推送记录、值班表和推送渠道等基本概念。概念 描述 告警事件 基于告警对象和告警规则构成的事件。推送记录 告警中心将告警消息推送给订阅用户的记录。值班表 为接收并处理告警事件的人员提供了排班...
资产清单统一展示Dataphin数据...主题域：为您展示数据架构部分已经创建好的主题域，便于您根据主题域更快捷地进行资产查询。更多详情请参见 主题域模型。资产清单入口 在Dataphin首页，单击顶部菜单栏的 治理-资产清单，进入资产清单页面。
系统大盘简介 系统大盘中分别展示以下内容：Dataphin版本：当前Dataphin实例的版本号。状态：当前Dataphin实例的整体状态。Dataphin任务实例统计：以饼图的展示当前Dataphin实例，在业务日期为T-1时，所有周期任务实例（包含当天的小时任务...
本文为您介绍Dataphin计算引擎为Hadoop时，系统支持的多维分析语句。语句 描述 是否支持 Grouping_ID 标示结果属于哪一个分组集合。是
校验记录用于记录质量规则校验Dataphin数据表、全域数据表、指标、数据源和实时元表的结果并支持查看每一条质量规则的校验结果。权限说明 超级管理员、质量管理员可查看所有校验记录。项目成员可查看自己所加入的项目的校验记录。...
上架到资产市场的标签，可以被市场成员申请至项目中进行使用。申请至项目中的标签可以选择规则组合方式加工新标签；申请至应用的标签可以创建标签离线服务、实时查询服务，进行标签应用。本文将指导您如何申请标签权限。...
相关参考 关于Dataphin的基本概念，请参见 核心概念。
本文 汇总了Dataphin的常见问题。Dataphin常见问题 错误码 数据开发 数据源测试连接报VPC_GRANT_ACCESS_API_ERROR错误的解决方案
机器学习PAI命令提供了更加灵活、自由、高效的算法研发模式，Dataphin除了支持导入PAI的工作流创建PAI Designer任务，同时也支持PAI命令。PAI组件包括数据预处理、特征工程、统计分析、异常检测、推荐算法、时间序列、视觉类算法、语音类...
根据阿里巴巴OneData方法论最佳实践，在设计数据模型前，您需要完成技术架构的选型。本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责...
质量大盘为您展示质量规则校验的表数、校验结果为异常的表数、规则应用趋势、规则异常趋势，帮助您从整体质量规则校验结果的视角出发，快速识别并处理异常的校验结果。质量大盘介绍 质量大盘页面默认为您展示今日的全局质量监控数据。...
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
本文为您介绍标准清单的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限。标准清单权限列表 权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 普通成员 查看标准详情 Y Y Y Y Y Y
本文为您介绍资产全景的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限。使用说明 非 超级管理员角色需要获得超级管理员授权后才能查看。资产全景权限列表 权限点 超级管理员 系统管理员 数据源管理员 安全...
本文为您介绍逻辑表DML操作语句。操作 语法 说明 INSERT OVERWRITE insert overwrite table table_name[partition(pt_spec)](col_name,col_name.)select_statement from from_statement;插入或覆写数据。仅维度逻辑表、汇总逻辑表、事实...
本文为您介绍资产目录的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限。资产目录权限列表 权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 普通成员 搜索资产 Y Y Y Y Y Y 查看资产详情 Y...
本文将为您介绍如何添加Python三方包的镜像源。权限说明 仅支持 超级管理员、系统管理员 安装、升级、删除镜像源。操作步骤 在Dataphin首页，单击顶部菜单栏 管理中心。按照以下操作指引，进入 镜像源 对话框。依次单击 系统设置-Python...
本文为您介绍资产质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中的行数变化及主键是否重复，则您可以将行数变化和主键...
本文将为您介绍如何添加Python三方包的镜像源。权限说明 仅支持 超级管理员、系统管理员 安装、升级、删除镜像源。操作步骤 在Dataphin首页，单击顶部菜单栏 管理中心。按照以下操作指引，进入 镜像源 对话框。依次单击 系统设置-Python...
Dataphin支持通过直连数据源模式、逻辑表API-SQL模式、逻辑表API-向导模式、注册API和组合API五种方式创建API，不同任务对应不同的用途，本文为您简要说明API任务的不同用途。任务名称 任务用途 任务链接 通过直连数据源模式创建API 直连...
Dataphin支持通过直连数据源模式、服务单元API（SQL模式、向导模式）、逻辑表API（SQL模式、向导模式）、注册API和组合API五种方式创建API，不同任务对应不同的用途，本文为您简要说明API任务的不同用途。任务名称 任务用途 任务链接 通过...
在数据权限管控严格的研发流程下，开发者通常会在开发项目内完成任务开发、基础属性和调度属性配置、补数据测试后，提交任务至发布中心，发布成功的任务才能在生产环境生效并调度运行，以实现开发和生产运维的数据隔离，保证资产质量。...
Dataphin治理功能助您完成数据使用消耗的分析，全局把控计算与存储成本，提升使用效率。5分钟快速了解 前提条件 已购买资源治理增值服务，详情请参见 开通Dataphin。使用说明 资源治理的统计不包括计算引擎为Hologres的项目，也不支持对...
维度即进行统计的对象。通常，维度是实际客观存在的实体。Dataphin遵循Ralph Kimball的维度建模理论，创建维度，即从顶层规范业务中实体（或称主数据）的存在性及唯一性。维度及维度组合，也是派生指标的统计粒度。例如，在分析交易过程时...
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
本文为您介绍资产全景的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限。使用说明 非 超级管理员角色需要获得超级管理员授权后才能查看。资产全景权限列表 权限点 超级管理员 系统管理员 数据源管理员 安全...