数据表 选择该集成管道内适用该规则模板的生产环境数据表，点击 更多规则，可跳转至数据质量模块配置更多规则模板，详情请参见 创建数据表质量规则。规则强度 选择质量规则的强弱：如果您选择了 强规则，则质量规则校验的结果为异常时报警...
数据质量为您提供多种内置监控模板。本文为您介绍数据质量的校检逻辑及内置模板规则。计算说明 计算波动率：您可以根据波动率计算公式（波动率=（样本-基准值）/基准值）计算结果。样本 当天采集的具体的样本的值。例如对于SQL任务表行数，...
数据是可视化的原材料，本文档为您介绍获取春节期间全国的空气质量数据的方法。您可以从空气检测官网上，自行获取全国空气质量历史数据。本示例中，采用了2017年1月1日至2017年2月2日，全国1497个监测点的数据。
导出全部监控对象的质量规则 在Dataphin首页，在顶部菜单栏选择 治理 数据质量。单击左侧导航栏的 质量规则，在质量规则页面单击右上角的 导出质量规则 按钮，支持选择 导出全部质量规则 和 按搜索及筛选条件导出。导出全部质量规则：导出...
数据表 选择该集成管道内适用该规则模板的生产环境数据表，点击 更多规则，可跳转至数据质量模块配置更多规则模板，详情请参见 创建数据表质量规则。规则强度 选择质量规则的强弱：如果您选择了 强规则，则质量规则校验的结果为异常时报警...
本文为您介绍数据质量对象的模板类型。数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/...
当算法运行时，画布中引用的数据质量规则也会自动运行，以检查算法输出数据是否符合要求，可在物理表监控明细查看运行结果。本文介绍如何引用逻辑表质量规则。前提条件 已搭建算法流程，具体操作，请参见 新建开发环境场景并部署运行。算法...
查看校验记录 在Dataphin首页，单击顶部菜单栏的 治理 数据质量。单击左侧导航栏的 校验记录，再单击 Dataphin表，进入Dataphin表校验记录页面。不同对象类型的校验记录页面展示基本一致，下图以 Dataphin表 为例。参数 说明 ①筛选与搜索 ...
弱规则：常规规则，如实际结果不满足规则，则该单项数据质量为一般。（可选）配置 高级选项。说明 高级选项 仅用OpenAPI向上层应用提供更精细化的结果数据，不影响数据开发质量节点及质量评估计划执行。目前仅MaxCompute、Hive、AnalyticDB...
本文为您介绍数据质量对象的模板类型。数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非...
质量规则配置 在Dataphin首页，单击顶部菜单栏的 治理 数据质量。单击左侧导航栏的 质量规则，在 Dataphin表 页面，单击目标对象的名称，进入 质量规则详情 页面，配置质量规则。自定义配置 数据表悬停 新建质量规则 选择 自定义配置 或...
批量导入质量规则 在Dataphin首页，在顶部菜单栏选择 治理 数据质量。单击左侧导航栏的 质量规则，在质量规则页面，单击右上角 添加质量规则 按钮右侧的 图标，在下拉列表中选择 批量导入质量规则。在 批量导入质量规则 对话框中，上传文件...
在Dataphin首页，单击顶部菜单栏的 治理 数据质量。单击左侧导航栏的 质量规则，在质量规则页面，单击右上角的 添加质量规则 或单击 图标，然后选择 按监控对象添加。在 添加质量规则 页面，配置参数。基本信息配置 字段级基本信息配置 表...
新建规则模板 在Dataphin首页，在顶部菜单栏中选择 治理 数据质量。在左侧导航栏选择 质量监控 规则模板，在 规则模板 页面，单击 数据表 页签，单击 新建规则模板 按钮。在 新建规则模板 对话框中，配置参数。参数 描述 基本信息 模板名称...
校验配置 数据质量规则校验后，结果会和异常校验的配置进行对比，符合条件则校验结果为不通过；同时触发告警等后续流程。异常校验可用指标由模板和配置内容决定，支持多种条件的and/or条件，实际配置中建议小于3条。详情请参见 校验配置...
质量规则配置 在Dataphin首页，在顶部菜单栏选择 治理 数据质量。单击左侧导航栏的 质量规则，在 指标 页面，单击目标对象的名称，进入 质量规则详情 页面，配置质量规则。在 质量规则详情 页面，单击 新建质量规则。在 新建质量规则 ...
需要保证所使用函数在校验质量的数据源有效。码表参照对比：校验字段、校验表数据过滤：详情请参见 完整性/唯一性 的描述。数据源类型：选择数据源类型。数据源：选择对应数据源类型的数据源。说明 为了性能考虑，跨数据源最多只会读取1000...
校验配置 规则校验 数据质量规则校验后，结果会和异常校验的配置进行对比，符合条件则校验结果为不通过；同时触发告警等后续流程。异常校验可用指标由模板和配置内容决定，支持多种条件的and/or条件，实际配置中建议小于3条。详情请参见 ...
需要保证所使用函数在校验质量的数据源有效。码表参照对比：校验字段、校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。数据源类型：选择数据源类型。数据源：选择对应数据源类型的数据源。说明 为了性能考虑，跨数据源最多只会读取...
综上所述，Data Exchange是一个强大而灵活的数据交换平台，为用户提供了发现、订阅、交换和使用高质量数据的便捷途径。无论是进行数据分析、机器学习还是开发应用程序，Data Exchange都能帮助用户轻松获取所需的数据资源。
阿里云数据资源平台是构建数据智能的全流程平台，提供数据汇聚、规范设计、指标与标签体系构建、数据质量管控、数据资产管理、数据资产服务与共享、智能分析等核心功能，支持行业知识内容沉淀，帮助金融、政府及企业客户快速构建智能数据中...
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
名称 类型 描述 示例值 object 质量监控任务 Id long 数据质量校验任务 ID 10001 Name string 数据质量校验任务名称，数字、英文字母、汉字、半角全角标点符号组合，最长 255 个字符 质量校验任务 Description string 数据质量校验任务描述...
数据质量校验任务的快照 Id long 数据质量校验任务 ID 10001 Name string 数据质量校验任务名称，数字、英文字母、汉字、半角全角标点符号组合，最长 255 个字符 质量校验任务 TenantId long DataWorks 租户 ID 195820716552192 ProjectId ...
本文为您介绍数据质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中的行数变化及主键是否重复，则您可以将行数变化和主键...
逻辑表数据质量的强规则和弱规则有什么区别？逻辑表质量规则都支持哪些云计算资源？目前包含MaxCompute、Hive、ApsaraDB for RDS、DataHub Service、PostgreSQL、AnalyticDB PostgreSQL、Kafka。逻辑表质量规则都包含哪些？主要包含表规则...
数据建模中建立的质量规则需要通过创建质量检测计划并运行后才能实现质量的管控，本章节介绍如何新建并启用质量检查计划。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在工作组中分别添加数据源类型为...
模型发布生产环境成功后，DataWorks智能数据建模支持自动生成数据质量监控规则，便于后续在生产环境中通过生成的数据质量规则来约束对应表的数据质量。本文为您介绍如何在表发布成功后自动生成数据质量规则。前提条件 已将表发布至生产环境...
数据质量最佳实践（2）：通过归档和分析异常数据，快速定位质量问题 数据质量最佳实践（3）：通过质量治理工作台，实现质量问题的跟踪和处理 数据质量最佳实践（4）：支持范围和多级分区质量监控+按项目和个人管理数据质量 数据质量最佳...
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。本文为您介绍如何配置表的质量监控规则并执行质量监控及其他相关操作。前提条件 已采集引擎...
监控规则是数据质量（DQC）的核心。数据质量支持MaxCompute、EMR（E-MapReduce）、Hologres、AnalyticDB PostgreSQL、AnalyticDB MySQL监控，本文为您介绍如何配置MaxCompute监控。操作步骤 步骤一：新增MaxCompute数据源 进入数据源页面。...
数据质量 数据质量 包括 字段规则异常、自定义规则异常、数据源规则异常、指标规则异常、表规则异常。数据服务 数据服务 包括 平均响应时间异常、调用次数异常、错误率异常。修改告警消息模板 在不同模块的页签下，单击 操作 列下的 图标，...
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
操作步骤 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发 数据质量，在下拉框中选择对应工作空间后单击 进入数据质量。在左侧导航栏，单击 质量运维 质量监控。在数据源列，选择数据库，然后在右侧找到目标质量...
DataWorks数据质量支持通过统一管理自定义规则，形成自建的规则模板库，帮助您提升规则配置的效率。本文将为您介绍如何新建自定义规则模板，以及如何操作自定义规则模板。前提条件 您需要购买DataWorks企业版及以上版本，才可以使用规则...
支持数据质量检验和控制 可以设置数据质量规则和异常报警策略，及时发现和处理数据质量问题。支持实时监控任务运行状态和查看日志 用户可以实时了解任务的执行情况，并设置异常告警，保证任务的稳定运行。支持多种数据库产品组合 支持多种...
DataWorks数据质量支持通过统一管理自定义规则，形成自建的规则模板库，帮助您提升规则配置的效率。本文将为您介绍如何通过规则模板库页面和监控规则页面新建规则模板，以及如何操作规则模板。前提条件 您需要购买DataWorks企业版及以上...
操作步骤 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发 数据质量，在下拉框中选择对应工作空间后单击 进入数据质量。在左侧导航栏，单击 我的订阅。数据质量支持EMR、Hologres、AnalyticDB for PostgreSQL、...
表数据质量监控 数据集成部分目标端数据源支持配置产出表的数据质量监控，您可以进入数据质量规则页面，对数据同步写入的目标表配置数据质量校验规则。对于配置了数据质量监控规则的表，当表关联的调度节点运行（执行节点代码逻辑）完成后...
基线实例计费说明 报警短信与报警电话计费 资源：数据质量 数据质量可对任务产出的表数据进行数据质量监控，DataWorks将根据数据质量规则实例数量计费。数据质量计费说明 资源：OpenAPI DataWorks提供OpenAPI，您可基于OpenAPI实现业务定制...