查询指定项目下的数据质量规则模板列表。接口说明 需要购买 DataWorks 基础版及以上版本才能使用。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 ...
本文为您介绍数据质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中的行数变化及主键是否重复，则您可以将行数变化和主键...
类型 可编辑 不可编辑 在数据质量新建质量规则 基本信息、规则配置、校验配置、归档配置、业务属性配置、调度属性配置、质量分配置 模板配置 在数据质量引用标准生成的规则 归档配置、业务属性配置、质量分配置 基本信息、模板配置、规则...
类型 可编辑 不可编辑 在数据质量新建质量规则 基本信息、规则配置、校验配置、归档配置、业务属性配置、调度属性配置、质量分配置 模板配置 在数据质量引用标准生成的规则 归档配置、业务属性配置、质量分配置 基本信息、模板配置、规则...
获取数据质量监控详情。接口说明 需要购买 DataWorks 基础版及以上版本才能使用 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API...
如果您第一次进入CDP 管控台，首先进行RAM角色授权：说明 使用CDP企业数据云产品之前需要主账号或权限管理员创建如下服务关联角色 角色名称：AliyunServiceRoleForCDP 角色权限策略：AliyunServiceRolePolicyForCDP Cloudera企业数据云平台...
为确保RAM用户能正常使用CDP企业数据云控制台的功能，您需要使用云账号登录访问控制RAM（Resource Access Management），授予RAM用户相应的权限。背景信息 访问控制RAM是阿里云提供的资源访问控制服务，更多详情请参见 什么是访问控制。...
为保障任务产出的表数据符合预期，您可以对任务产出表数据进行数据质量监控。本文为您介绍如何配置表dwd_log_info_di_emr的数据质量监控。前提条件 在进行本案例前，请确保已完成 同步数据 和 加工数据。一、进入规则配置页面 进入数据质量...
为保障任务产出的表数据符合预期，您可以对任务产出表数据进行数据质量监控。本文为您介绍如何配置表dwd_log_info_di_emr的数据质量监控。前提条件 在进行本实验前，请确保已完成 同步数据 和 加工数据。步骤一：进入规则配置页面 进入数据...
模型发布生产环境成功后，DataWorks智能数据建模支持自动生成数据质量监控规则，便于后续在生产环境中通过生成的数据质量规则来约束对应表的数据质量。本文为您介绍如何在表发布成功后自动生成数据质量规则。前提条件 已将表发布至生产环境...
数据库 数据库 ListDatabases 查询数据地图数据库列表 查询数据地图中给定实例/集群/数据目录下的数据库列表。对于dlf/starrocks类型，查询给定数据目录下的数据库列表，其中starocks类型仅支持查询Internal Catalog；对于其他类型，查询...
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本案例前，请确保已完成 同步数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本案例前，请确保已完成 同步数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本案例前，请确保已完成 同步数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d_odps表。已通过数据...
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本案例前，请确保已完成 同步数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d_odps表。已通过数据...
Dataphin支持配置租户级别的告警消息模板，您可根据不同的模块查看并编辑告警消息模板的内容，包括离线计算、实时计算、基线监控、数据质量、数据服务。本文为您介绍如何查看及修改消息模板。使用限制 支持超级管理员和系统管理员编辑消息...
导入的发布包文件中存在数据质量的变更对象时，将在待发布数据质量页面为您展示，您可在待发布数据质量页面对数据质量对象进行管理和发布。数据质量待发布 对象入口 使用 跨租户发布使用人 账号登录Dataphin。在Dataphin首页，在顶部菜单栏...
导入的发布包文件中存在数据质量的变更对象时，将在待发布数据质量页面为您展示，您可在待发布数据质量页面对数据质量对象进行管理和发布。数据质量待发布 对象入口 使用 跨租户发布使用人 账号登录Dataphin。在Dataphin首页，在顶部菜单栏...
监控规则是数据质量（DQC）的核心。数据质量支持MaxCompute、EMR（E-MapReduce）、Hologres、AnalyticDB PostgreSQL、AnalyticDB MySQL监控，本文为您介绍如何配置MaxCompute监控。操作步骤 步骤一：新增MaxCompute数据源 进入数据源页面。...
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
表数据质量监控 数据集成部分目标端数据源支持配置产出表的数据质量监控，您可以进入数据质量规则页面，对数据同步写入的目标表配置数据质量校验规则。对于配置了数据质量监控规则的表，当表关联的调度节点运行（执行节点代码逻辑）完成后...
本文介绍Cloudera企业数据云平台服务关联角色AliyunServiceRoleForCDP以及如何删除该角色。背景信息 Cloudera企业数据云平台服务关联角色AliyunServiceRoleForCDP是Cloudera企业数据云平台在某些情况下，为了完成自身的某个功能，需要获取...
支持数据质量检验和控制 可以设置数据质量规则和异常报警策略，及时发现和处理数据质量问题。支持实时监控任务运行状态和查看日志 用户可以实时了解任务的执行情况，并设置异常告警，保证任务的稳定运行。支持多种数据库产品组合 支持多种...
本文系统阐述了阿里云数据质量的运行机制，深入解析其调度触发、规则执行与结果管理等核心环节，助您构建稳定可靠的数据监控体系，全面保障数据资产的准确性。
提升整体企业数据资产安全透明度，强化企业数据治理能力。降低数据安全运维成本，为企业制定数据安全策略提供强有力的数据支撑。智能化：运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，例如数据异常访问和潜在的...
背景信息 质量评估报告以周期性数据质量检测结果为基础，从模型总数、已配置质量规则模型、模型物理化表总数、质量监测模型数、质量监测物理表数维度给出系统综合质量得分；从数仓层级维度和质量不同时间段进行评分对比。重要 当天执行成功...
企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造的阿里云上的大数据平台。前置概念 阅读本文前，您可能需要了解如下概念：什么是边缘计算？什么是人工智能（AI）？什么是SQL？Cloudera CDP企业数据云...
数据质量 单击 数据质量 质量报告，展示数据表字段个数、质量检测字段数、质量检测规则数、质量评分和质量评分规则统计等。单击 质量评分说明，查看质量评分概述、质量评价维度分类和质量规则等。单击 评分趋势查看，通过评分趋势图了解该...
为了创建完整的字段标准，需要先完善数据字典的管理，创建好数据字典后，可以用来规范数据标准字段的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量。通过导入数据字典可以实现批量创建数据字典。本文介绍...
数据质量的运行记录模块展示质量监控任务运行时的规则校验结果。质量监控任务运行后，您可以在运行记录页面查看详情。进入任务查询 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理 数据质量，在下拉框中选择对应工作...
本文介绍云数据库、DTS（数据迁移上云）、DMS（数据安全管理）、DBS（数据备份）几个产品实现企业数据资产的安全管理解决方案，避免数据泄露、删库跑路等恶性事件的出现。详情参考：数据库安全解决方案。
由于 PolarDB分布式版 自身不提供Binlog以及其他的一些限制，在业务设计、运维变更、数据质量以及业务开发时，会受到如下规范的约束，请您在实际使用中注意。概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的...
由于 PolarDB分布式版 自身不提供Binlog以及其他的一些限制，在业务设计、运维变更、数据质量以及业务开发时，会受到如下规范的约束，请您在实际使用中注意。概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的...
数据资源平台覆盖数据同步、数据标准建模及数据质量检查、数据开发、数据标签体系构建，基于标签数据的群体分析、专家业务模型构建、全流程任务监控告警、数据服务化、数据资产管理等核心能力，提供标准化程度高、易用性强的一站式大数据...
数据字典帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量，创建并维护逻辑表中使用的数据字典，方便数据元引用数据字典来规范数据元的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量，本章节...
数据质量费用：若为周期性任务配置质量监控并成功触发实例，将产生 数据质量实例费用。智能基线费用：若为周期性任务配置智能基线，开启状态的智能基线将产生 智能基线实例费用。报警短信和电话费用：若为同步任务配置监控报警并成功触发...
本文介绍如何查看已公开的数据表资产详情。前提条件 已公开数据表资产“dws_ren_kh_demo_di（银行客户信息）”，具体操作，请参见 表资产。操作步骤 登录 数据资源平台控制台。...基本信息：扩展信息：字段信息 数据探查 血缘关系 数据质量
操作步骤 在Dataphin首页，在顶部菜单栏选择 治理 数据质量。在左侧导航栏选择 系统管理 数据源管理，在 数据管理 页面，单击目标数据源 操作 列下的 设置限速，进入 设置限速 对话框。在 设置限速 对话框，设置 限速时段。可以单击 添加...
操作步骤 在Dataphin首页，在顶部菜单栏选择 治理 数据质量。在左侧导航栏选择 系统管理 数据源管理，在 数据管理 页面，单击目标数据源 操作 列下的 设置限速，进入 设置限速 对话框。在 设置限速 对话框，设置 限速时段。可以单击 添加...
该Spec是DataWorks数据质量模块中数据质量监控、数据质量规则资源的描述规范，使用YAML格式书写。目前可以作为OpenAPI的入参，操作DataWorks数据质量产品中的相关资源。基本定义 YAML示例 一个简单的数据质量监控定义如下：datasets:type:...