在您完成 系统初始化 后，您可为Dataphin添加对应计算源。已添加的计算源可用于绑定Dataphin项目，为Dataphin项目提供处理任务的计算源。功能概述 您可根据业务需求添加相应计算源，各计算源描述及创建说明如下：计算设置 计算源 ...
本文为您介绍Dataphin计算引擎为Hadoop时，系统支持的多维分析语句。语句 描述 是否支持 Grouping_ID 标示结果属于哪一个分组集合。是
Dataphin计算引擎AnalyticDB for PostgreSQL中预内置了诸多系统函数，可满足大部分业务场景的数据处理需求。本文为您介绍AnalyticDB for PostgreSQL提供的系统函数类型及函数使用相关说明。函数类型 AnalyticDB for PostgreSQL预置的函数...
在您完成离线数据集的创建或行为关系的定义后，您可为所创建的离线数据集或行为关系创建对应的离线标签，以便后续的资产应用创建。如标签服务、画像服务的创建。功能概述 您可根据业务需求创建所需的离线标签，离线标签的加工方式不同创建...
校验记录用于记录质量规则校验Dataphin数据表、全域数据表、指标、数据源和实时元表的结果并支持查看每一条质量规则的校验结果。权限说明 超级管理员、质量管理员可查看所有校验记录。项目成员可查看自己所加入的项目的校验记录。...
本文 汇总了Dataphin的常见问题。Dataphin常见问题 错误码 数据开发 数据源测试连接报VPC_GRANT_ACCESS_API_ERROR错误的解决方案
本文为您介绍标准清单的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限。标准清单权限列表 权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 普通成员 查看标准详情 Y Y Y Y Y Y
本文为您介绍资产全景的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限。使用说明 非 超级管理员角色需要获得超级管理员授权后才能查看。资产全景权限列表 权限点 超级管理员 系统管理员 数据源管理员 安全...
本文为您介绍资产目录的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限。资产目录权限列表 权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 普通成员 搜索资产 Y Y Y Y Y Y 查看资产详情 Y...
质量大盘为您展示质量规则校验的表数、校验结果为异常的表数、规则应用趋势、规则异常趋势，帮助您从整体质量规则校验结果的视角出发，快速识别并处理异常的校验结果。质量大盘介绍 质量大盘页面默认为您展示今日的全局质量监控数据。...
本文将为您介绍告警中心中的告警事件、推送记录、值班表和推送渠道等基本概念。概念 描述 告警事件 基于告警对象和告警规则构成的事件。推送记录 告警中心将告警消息推送给订阅用户的记录。值班表 为接收并处理告警事件的人员提供了排班...
上架到资产市场的标签，可以被市场成员申请至项目中进行使用。申请至项目中的标签可以选择规则组合方式加工新标签；申请至应用的标签可以创建标签离线服务、实时查询服务，进行标签应用。本文将指导您如何申请标签权限。...
机器学习PAI命令提供了更加灵活、自由、高效的算法研发模式，Dataphin除了支持导入PAI的工作流创建PAI Designer任务，同时也支持PAI命令。PAI组件包括数据预处理、特征工程、统计分析、异常检测、推荐算法、时间序列、视觉类算法、语音类...
根据阿里巴巴OneData方法论最佳实践，在设计数据模型前，您需要完成技术架构的选型。本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责...
本文为您介绍逻辑表DML操作语句。操作 语法 说明 INSERT OVERWRITE insert overwrite table table_name[partition(pt_spec)](col_name,col_name.)select_statement from from_statement;插入或覆写数据。仅维度逻辑表、汇总逻辑表、事实...
系统大盘简介 系统大盘中分别展示以下内容：Dataphin版本：当前Dataphin实例的版本号。状态：当前Dataphin实例的整体状态。Dataphin任务实例统计：以饼图的展示当前Dataphin实例，在业务日期为T-1时，所有周期任务实例（包含当天的小时任务...
资产清单统一展示Dataphin数据资产和从数据源采集的业务系统资产，为您提供统一的搜索和浏览入口，并展示丰富的元数据信息，帮助您快速了解数据样貌。整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产...
校验记录用于记录质量规则校验Dataphin数据表、全域数据表、指标、数据源和实时元表的结果并支持查看每一条质量规则的校验结果。权限说明 超级管理员、质量管理员可查看所有校验记录。项目成员可查看自己所加入的项目的校验记录。...
质量大盘为您展示质量规则校验的表数、校验结果为异常的表数、规则应用趋势、规则异常趋势，帮助您从整体质量规则校验结果的视角出发，快速识别并处理异常的校验结果。质量大盘介绍 质量大盘页面默认为您展示今日的全局质量监控数据。...
本文将为您介绍如何添加Python三方包的镜像源。权限说明 仅支持 超级管理员、系统管理员 安装、升级、删除镜像源。操作步骤 在Dataphin首页，单击顶部菜单栏 管理中心。按照以下操作指引，进入 镜像源 对话框。依次单击 系统设置-Python...
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
本文为您介绍资产全景的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限。使用说明 非 超级管理员角色需要获得超级管理员授权后才能查看。资产全景权限列表 权限点 超级管理员 系统管理员 数据源管理员 安全...
本文将为您介绍如何添加Python三方包的镜像源。权限说明 仅支持 超级管理员、系统管理员 安装、升级、删除镜像源。操作步骤 在Dataphin首页，单击顶部菜单栏 管理中心。按照以下操作指引，进入 镜像源 对话框。依次单击 系统设置-Python...
Dataphin支持通过直连数据源模式、逻辑表API-SQL模式、逻辑表API-向导模式、注册API和组合API五种方式创建API，不同任务对应不同的用途，本文为您简要说明API任务的不同用途。任务名称 任务用途 任务链接 通过直连数据源模式创建API 直连...
本文为您介绍资产质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中的行数变化及主键是否重复，则您可以将行数变化和主键...
Dataphin支持通过直连数据源模式、服务单元API（SQL模式、向导模式）、逻辑表API（SQL模式、向导模式）、注册API和组合API五种方式创建API，不同任务对应不同的用途，本文为您简要说明API任务的不同用途。任务名称 任务用途 任务链接 通过...
在数据权限管控严格的研发流程下，开发者通常会在开发项目内完成任务开发、基础属性和调度属性配置、补数据测试后，提交任务至发布中心，发布成功的任务才能在生产环境生效并调度运行，以实现开发和生产运维的数据隔离，保证资产质量。...
Dataphin治理功能助您完成数据使用消耗的分析，全局把控计算与存储成本，提升使用效率。5分钟快速了解 前提条件 已购买资源治理增值服务，详情请参见 开通Dataphin。使用说明 资源治理的统计不包括计算引擎为Hologres的项目，也不支持对...
通过控制数据源执行质量规则的并发度，可以对数据源进行保护，防止影响正常的业务。本文为您介绍如何设置数据源执行质量规则的并发度。前提条件 已创建数据源，如需创建，详情请参见 Dataphin支持的数据源。操作步骤 在Dataphin首页，在...
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
维度即进行统计的对象。通常，维度是实际客观存在的实体。Dataphin遵循Ralph Kimball的维度建模理论，创建维度，即从顶层规范业务中实体（或称主数据）的存在性及唯一性。维度及维度组合，也是派生指标的统计粒度。例如，在分析交易过程时...
离线数据集是通过指标映射创建离线标签的前提条件。可以选择表映射、SQL加工以及表单加工的方式对离线数据集进行定义。并通过预定义加工的方式，以便后续的离线标签创建。功能概述 您可根据业务需求创建所需的离线数据集。...
在使用Dataphin前，超级管理员需要通过管理中心添加Dataphin成员及设置Dataphin实例的计算引擎。同时您也可以配置计算和存储资源的规则，优化逻辑表任务、SQL查询任务及设置查询引擎，以提高数据构建效率。使用限制 仅支持超级管理员在管理...
项目是Dataphin的基本组织单元，是进行多用户隔离和访问控制的主要边界。功能概述 Dataphin支持创建两种类型的项目：通用项目和标签项目。通用项目：主要用于数据集成、数据开发等任务的创建以及管理。若您需要以项目为单位，划分业务领域...
本文为您介绍通知中心的操作权限列表。符号说明 Y 表示该角色有此功能权限。权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 通知设置 Y Y N N N N N 消息中心 查看未读消息 Y Y Y Y Y Y Y 任务中心...
本文为您介绍数据质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中的行数变化及主键是否重复，则您可以将行数变化和主键...
本文为您介绍资产清单的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限。资产清单权限列表 权限点 超级管理员 系统管理员 运营管理员 数据源管理员 安全管理员 质量管理员 普通成员 搜索资产 Y Y Y Y Y Y Y ...
针对各种业务需求，Dataphin提供相关实践教程，您可根据不同场景查看最佳实践教程进行参考。行业场景 面向零售店铺的模型构建与管理 功能场景 数据引入：自定义RDBMS数据库及同步数据 DataX同步数据 使用Python读文件 规范建模：规范定义...
本文为您介绍如何查看项目的资产详情。项目详情入口 在Dataphin首页，单击顶部菜单栏的 治理 资产清单。单击 项目 页签，选择目标项目，单击项目的名称或 操作 列下的 图标，进入对象详情页面。项目详情 编号 描述 ① 概要信息 为您展示...
本文为您介绍如何完成本教程的 最近1天西湖龙井品类订单总金额 派生指标开发。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建派生指标 配置向导页面。在 新建派生指标 配置向导...