产品 架构 元数据管理：通过控制台查看和管理数据湖中的元数据库及其表的信息，采用新增元数据库的方式对元数据进行操作，并将其集成到第三方应用服务中。权限管理：能够加强湖上数据的权限控制，以保障数据的安全性。支持对Catalog、...
质量管理员、数据源/表的质量负责人和超级管理员支持在集成任务中创建质量规则并发布。新建离线管道质量监控 在Dataphin首页，单击顶部菜单栏的 研发。按照下图指引进入 新建质量规则 对话框，配置质量规则，监测数据表的质量（配置质量...
质量管理员、数据源/表的质量负责人和超级管理员支持在集成任务中创建质量规则并发布。新建离线管道质量监控 在Dataphin首页，单击顶部菜单栏的 研发。按照下图指引进入 新建质量规则 对话框，配置质量规则，监测数据表的质量（配置质量...
前提条件 系统内置的全局角色中以下角色需开通对应的模块方可使用全局角色功能，包括 质量管理员（需购买资产质量或标签工厂任一功能）、数据标准管理员（需购买数据标准功能）、跨租户发布使用人（需购买跨租户发布功能）、标签业务员（需...
在 空间数据管理 页面，单击左侧列表中的 我的数据，可以查看页面内的数据分组状况以及所有添加完成的数据内容，并进行上传和管理数据操作。单击左侧的 空间档案，进入 空间档案 页面，您可以浏览各类建筑模型信息，并可以调用系统预制模型...
前提条件 系统内置的全局角色中以下角色需开通对应的模块方可使用全局角色功能，包括 质量管理员（需购买资产质量或标签工厂任一功能）、数据标准管理员（需购买数据标准功能）、跨租户发布使用人（需购买跨租户发布功能）、标签业务员（需...
阿里云数据湖构建（Data Lake Formation，简称DLF）是一款全托管的统一元数据和数据存储及管理平台，为客户提供元数据管理、存储管理、权限管理、存储分析和存储优化等功能。DLF与多个阿里云大数据计算引擎无缝对接，打破数据孤岛，帮助...
阿里云数据资源平台是构建数据智能的全流程平台，提供数据汇聚、规范设计、指标与标签体系构建、数据质量管控、数据资产管理、数据资产服务与共享、智能分析等核心功能，支持行业知识内容沉淀，帮助金融、政府及企业客户快速构建智能数据中...
数据资源平台各模块发起的任务，如数据同步、数据开发、标签加工等，都会发到对应的任务流，不同的任务来源通过业务类型区分。根据业务流程，任务流中包含了不同类型的节点，如MaxCompute离线任务、Flink流式任务等。不同类型的节点会生成...
您可使用数据管理DMS的数据质量功能来自定义表或列维度的数据质量规则，并结合任务编排的稽核任务自动检查数据质量，保证数据的一致性、唯一性、充分性等，从而提升二次数据分析与开发的质量。前提条件 目标实例的管控模式为安全协同。更多...
您可以将实例全部录入至DMS中，再通过DMS MCP Server管理数据库实例。模式二：单数据库模式 该模式适用于专注访问单个数据库的场景。您可以在Server中配置CONNECTION_STRING参数，指定需要访问的数据库。后续启动服务时，DMS MCP Server会...
本文为您介绍阿里云数据管理DMS集成的强大功能——Dify on DMS，您可以无需编写复杂代码，也无需进行数据迁移，即可安全、高效地在您的数据库上构建专属AI应用，例如：智能数据问答、企业知识库、SQL代码生成器等。重要 Dify实例容器环境...
通过设计标准数据元、数据指标、维度和维度属性，对关键业务对象以及属性和值域进行定义，制定并管理平台遵循的统一数据标准，管控数据的一致性和数据质量。模型标准设计 逻辑表命名规则：支持对逻辑表命名标准的规范设计，可基于模型命名...
通过数据标准的管理功能，模型设计者可通过设计标准数据元素，定义关键业务对象、业务对象属性及值域，规范标准数据字典，制定并管理平台遵循的统一数据标准，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。模型标准设计 ...
阿里云数据湖构建（Data Lake Formation，简称DLF）是一款全托管的统一元数据和数据存储及管理平台，旨在为客户提供元数据管理、存储管理、权限管理、存储分析和存储优化等功能。DataWorks数据集成支持写入DLF数据源，本文将为您介绍DLF的...
企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造阿里云上的大数据平台。
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
新建数据字典并物理化 通过新建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。具体操作，请参见 新建...
数据字典帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量，创建并维护逻辑表中使用的数据字典，方便数据元引用数据字典来规范数据元的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量，本章节...
EMR提供的组件包括开源和自研两大类，涵盖数据开发、计算引擎、数据服务、资源管理、数据存储、数据集成等领域，您可以按需选择和配置。说明 在创建集群时，如果没有您想使用的组件，或者想使用的开源组件仅对存量用户开放，您可以自行安装...
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 普通成员 管理表权限 Y N N N N 管理行级权限 Y N N Y N 管理数据源权限 Y N Y N N 管理变量权限 Y Y N N N 管理密钥权限 Y N N Y N 管理数据服务权限 Y N N N N 管理用户组权限 Y Y...
数据管理DMS是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化和服务器管理于一体的数据管理服务。
查看节点分组的上下行数据 登录 物联网络管理平台控制台。在左侧导航栏，选择 节点管理 节点分组。在 节点分组 页面，单击要查看上下行数据情况的节点分组 操作 列的 查看。在 分组详情 页面，查看相应数据情况。单击 上行数据 页签，查看...
可视化元数据管理 数据地图可以可视化的查看表Schema、产出信息、血缘信息等，不需要通过SQL命令，即可快速地了解业务表的概貌和更多高级的元数据信息。数据地图的详细操作请参见 数据地图概述。数据质量监控 应用场景 从完整性、准确性、...
数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...
当调度任务触发数据质量监控中的规则校验时，您可以使用去噪管理功能，对当前工作空间内数据质量规则校验异常的数据进行处理，使其不触发报警，并且不阻塞任务的正常运行（即任务不会因为数据质量校验不通过而失败退出）。前提条件 已创建...
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。...DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
本文介绍 数据管理DMS 以及内置 数据灾备 的产品功能动态及相关文档。云数据库RDS、云原生数据库PolarDB、云数据库MongoDB、云数据库 Tair（兼容 Redis）、云原生数据仓库AnalyticDB PostgreSQL版产品的备份恢复功能均由 数据灾备 提供，各...
流程图及说明 任务项 说明 资产注册 通过注册资产锁定待管理数据资产的范围，以备管理数据资产。系统后台自动完成，查看更多，请参见 资产注册。新建资产分类目录 通过新建资产目录，以备数据资产进行编目。具体操作，请参见 资产分类管理...
维度管理通过分析业务流程、抽象关键业务对象、业务对象属性，并设置为维度及其维度属性，为模型标准化设计及数据治理过程中的质量检测提供依据。本文介绍如何新建维度。背景信息 维度和维度属性也是数据标准的一种类型，通常使用维度建模...
管理数据库和表的权限，对数据库和表进行主动授权或回收。配置 被动配置：由DBA或原Owner配置。说明 对于安全协同模式的实例，在首页左侧实例列表中，右键目标数据库，选择 管理Owner，设置或转交数据库Owner。主动配置：业务方负责人自助...
创建管理数据对象 在数据目录界面，找到并展开已添加的目录，即可进入该目录创建或管理数据对象。更多操作细节可参见下表中的相关文档。数据目录 功能说明 相关文档 MaxCompute 创建和管理表、视图、外表、资源及函数等数据对象。...
质量大盘介绍 质量大盘页面默认为您展示今日的全局质量监控数据。在Dataphin首页，在顶部菜单栏选择 治理 数据质量。在左侧导航栏选择 概览 质量大盘，进入 质量大盘 页面。编号 说明 ① 展示质量规则校验的所有 规则校验资产数。展示 数据...
质量大盘介绍 质量大盘页面默认为您展示今日的全局质量监控数据。在Dataphin首页，在顶部菜单栏选择 治理 数据质量。在左侧导航栏选择 概览 质量大盘，进入 质量大盘 页面。编号 说明 ① 展示质量规则校验的所有 规则校验资产数。展示 数据...
DataWorks数据质量支持通过统一管理自定义规则，形成自建的规则模板库，帮助您提升规则配置的效率。本文将为您介绍如何新建自定义规则模板，以及如何操作自定义规则模板。前提条件 您需要购买DataWorks企业版及以上版本，才可以使用规则...
本文为您介绍如何在DMS中管理数据库中的敏感数据。前提条件 已购买敏感数据保护商品。购买操作，请参见 购买DMS服务。步骤一：为实例开启敏感数据保护功能 管理员登录 数据管理DMS 5.0。在左侧数据库实例区域，找到并右键单击目标实例。...
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据迁移或数据同步任务，将数据从一个数据源迁移到另一个数据源，或实现同数据源、不同数据源之间的数据实时同步。数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务...
创建及管理标准代码（码表）创建及管理数据标准 创建和管理标准文档 批量导入导出数据标准 数据质量 新增支持导出自定义SQL规则功能。创建Dataphin表质量规则 创建全域数据表质量规则 数据安全 数据安全新增内置模板库，包括能源电力行业、...
本文将为您介绍如何在数据目录中创建和管理数据库表元数据。进入 DLF Catalog 数据目录页面 进入 DataWorks工作空间列表页，在顶部切换至目标地域，找到已创建的工作空间，单击 操作 列的 快速进入 Data Studio，进入Data Studio。单击左侧...