校验工具

_相关内容

管理数据标准待发布对象

其中 流程校验 包含 权限校验、依赖校验、重名校验、发布校验,不同类型对象包含的校验项略有不同。说明 由于不同数据标准可能依赖了标准模板的不同版本,因此所有在当前目标环境不存在的版本均需要进行发布。发布顺序按照版本号从小到大...

质量规则参数配置

数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验校验字段:选择物理表中的需要校验的字段。校验表数据过滤:默认关闭,...

质量规则模板类型

数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...

什么是数据校验

数据校验是数据传输服务DTS(Data Transmission Service)提供的用于监控源库与目标库数据差异的功能,支持在不停服的情况下对源库和目标库进行校验,帮助您及时发现数据和结构不一致的问题。背景信息 全量校验:对目标对象的存量数据进行...

新建质量校验函数

当业务需要比较复杂的字段值域校验规则时,系统支持上传自定义函数,用来校验字段的内容规范,通过新建质量校验函数,方便用户在定义数据元或维度属性时进行质量规则引用,以支持后续对字段的质量规则的快速配置和校验。本文以基于资源的...

进入数据质量大盘

数据质量大盘为您展示当前工作空间下,需要重点关注的数据质量总览指标、实例运行后触发的质量规则校验状态的趋势及分布情况、TOP质量问题表及质量问题责任人、质量规则覆盖保障情况等,帮助质量负责人快速了解工作空间数据质量整体情况,...

质量规则参数配置

数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验校验字段:选择物理表中的需要校验的字段。校验表数据过滤:默认关闭,...

质量规则模板类型

数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...

什么是数据校验

数据校验是数据传输服务DTS(Data Transmission Service)提供的用于监控源库与目标库数据差异的功能,支持在不停服的情况下对源库和目标库进行校验,帮助您及时发现数据和结构不一致的问题。优势 全量校验、增量校验和结构校验均支持在...

应用校验

对应接口 ValidateApplication 功能说明 通过此API 对 CADT应用进行校验,需要通过GetApplication获取校验结果。校验功能会对应用中每个资源进行必要的部署前配置合法性检查。部分产品会有产品相关的特殊校验,例如:ECS:库存校验,可以...

数据一致性校验

OSS支持ETag、MD5、crc64三种校验方式。校验方式 使用场景 使用说明 ETag 用于判断资源是否发生了变化。ETag(entity tag)在每个Object生成的时候被创建,用于标识一个Object的内容。对于Put Object请求创建的Object,ETag值是其内容的MD5值...

ListQualityResultsByRule-校验数据源质量

根据校验规则校验数据源的质量,并查询校验结果。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 ...

创建联邦凭证

校验条件(表达式)该字段用于校验客户端调用M2M授权服务器token端点时的入参,确保只有符合校验条件的特定参数才能获取IDaaS颁发的Access Token,在PKCS#7联邦凭证场景下主要校验签名字段,信任条件长度不得超过10240字符。描述 描述字段...

如何使用邮箱地址有效性校验接口?

功能说明 邮箱地址有效性校验 接口示例 说明 目前仅 新加坡 地域的实例可调用此服务。GetValidationQuota(获取电子邮件校验额度)用于获取额度。ValidateEmail(校验电子邮件地址)是单条地址校验。批量地址处理顺序:SendValidateFile ...

DataCheckConfigure参数说明

fullCheckModel Integer 全量数据校验任务的模式:1:按抽样比例进行校验。2:按行进行校验。fullCheckFixData Boolean 是否补齐数据,取值为 true 或 false,默认值为 false。说明 当取值为 true 时,若目标库有跟原库不一致的数据,则会...

查看质量监控执行详情

数据质量的运行记录模块展示质量监控任务运行时的规则校验结果。质量监控任务运行后,您可以在运行记录页面查看详情。进入任务查询 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据治理 数据质量,在下拉框中选择对应工作...

管理数据安全待发布对象

权限校验:分类分级:若跨租户发布设置中功能权限校验配置为 校验操作人权限,则在导入时校验每个对象在当前目标环境的操作权限;若跨租户发布设置中功能权限校验配置为 忽略权限校验,则跳过权限校验。说明 发布过程中,校验的是根据导入...

管理数据安全待发布对象

权限校验:分类分级:若跨租户发布设置中功能权限校验配置为 校验操作人权限,则在导入时校验每个对象在当前目标环境的操作权限;若跨租户发布设置中功能权限校验配置为 忽略权限校验,则跳过权限校验。说明 发布过程中,校验的是根据导入...

数据校验

在数据校验时,需要探查到源端和目标端的数据进行比较,考虑到数据的敏感性,CMH的数据校验需要客户提供一台服务器(建议是阿里云ECS),确保该服务器与源端和目标端数据源是联通的,之后在改服务器上安装一个数据校验的agent,用于进行...

开发流程管控

涉及的功能模块 运行前校验 提交前校验 发布前校验 流程管控能力引导介绍 数据治理中心 DataWorks的数据治理中心为您内置了多个检查项,您可以根据业务需要选择开启对应的检查项,开启后,后续在涉及到对应操作时即会触发DataWorks的内置...

根据分区表达式查询校验历史结果

调用ListQualityResultsByEntity,根据分区表达式查询历史校验结果。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透...

创建指标质量规则

Dataphin支持创建校验指标的质量规则,提升指标质量监控的便捷性。本文为您介绍如何配置指标质量规则。前提条件 已经添加监控对象才可配置质量规则,如何添加监控对象,请参见 添加监控对象 添加及管理监控对象。权限说明 超级管理员、质量...

创建指标质量规则

Dataphin支持创建校验指标的质量规则,提升指标质量监控的便捷性。本文为您介绍如何配置指标质量规则。前提条件 已经添加监控对象才可配置质量规则,如何添加监控对象,请参见 添加监控对象。权限说明 超级管理员、质量管理员、具有 质量...

批量创建质量规则

稳定性:包含 表稳定性校验、表波动性校验、字段稳定性校验 和 字段波动性校验。自定义SQL:包含自定义SQL规则模板创建的信息。指标 支持的规则模板为 唯一性、稳定性。唯一性:包含 字段分组个数校验 和 字段重复值个数校验。稳定性:包含...

批量创建质量规则

稳定性:包含 表稳定性校验、表波动性校验、字段稳定性校验 和 字段波动性校验。自定义SQL:包含自定义SQL规则模板创建的信息。指标 支持的规则模板为 唯一性、稳定性。唯一性:包含 字段分组个数校验 和 字段重复值个数校验。稳定性:包含...

跨租户发布设置

跨租户发布设置用于配置跨租户发布包文件的基础设置及发布流程校验设置。本文为您介绍如何配置跨租户发布设置。前提条件 在您开始跨租户发布前,您需要在环境中,使用 超级管理员或系统管理员 设置跨租户发布使用人。具体操作,请参见 添加...

物理化质量校验函数

您可以通过对已创建的质量校验函数进行物理化操作,将质量校验函数存储至对应的云计算资源中,供数据元、指标、维度使用。本文介绍如何物理化质量校验函数。前提条件 已存在质量校验函数,具体操作,请参见 新建质量校验函数。操作步骤 ...

02创建质量校验函数并物理化

创建质量校验函数,方便用户在定义数据元或维度属性时进行质量规则引用,以支持后续对字段的质量规则的快速配置和校验,本章节介绍如何创建质量校验函数。前提条件 已新建工作组“信息中心(xxzx)”,具体操作,请参见 新建工作组。已在工作...

配置规则:按模板(批量)

内置模板分为表级和字段级的模板规则,选择模板后,以待校验的 表 为对象,定义该表数据质量校验规则的校验方式。通过数据质量规则定义对该表数据的具体校验方式,从而确定表数据是否符合预期。批量添加需要规则校验的表或字段 选择待批量...

跨租户发布设置

跨租户发布设置用于配置跨租户发布包文件的基础设置及发布流程校验设置。本文为您介绍如何配置跨租户发布设置。前提条件 在您开始跨租户发布前,您需要在环境中,使用 超级管理员或系统管理员 设置跨租户发布使用人。具体操作,请参见 添加...

权限申请

Owner申请校验 实例申请权限校验 库权限申请校验 表权限申请校验 可编程对象校验 敏感字段申请校验 行权限申请校验 模板库(可选)安全规则模板库中提供了大量规则模板,选择了 检测点 以后,您可以从 模板库 中按需加载规则模板。...

模型效果评测

语音识别检测,可以直观的看到指定语音模型语音转文字的识别准确率,通过人工校验得到正确的文本标注结果,用来训练您的自定义模型;通过型对比可以看到每次优化后的准确率提升情况,从而让您十分高效的提升语音转文字的识别准确率。提升...

操作检查

涉及的功能模块 运行前校验 发布到开发环境前校验 发布到生产环境前校验 流程管控能力引导介绍 数据治理中心 DataWorks的数据治理中心为您内置了多个检查项,您可以根据业务需要选择开启对应的检查项,开启后,后续在涉及到对应操作时即会...

管理接口

校验结果 展示接口适用组件的校验进度,分别展示已通过校验、未通过校验和待校验的组件个数。状态 接口的使用状态,包括正常和停用两种状态。编辑接口信息 在接口列表中,选择目标接口,单击操作列下的 编辑 菜单修改接口信息。接口的参数...

数据质量概述

资产质量包括 质量概览、质量监控 和 质量治理:质量概览 为您展示质量规则校验的表数、校验结果为异常的表数等信息,帮助您从整体质量规则校验结果的视角出发,快速识别并处理异常的校验结果。质量监控 为您提供质量规则列表、配置质量...

数据质量规则配置流程

以质量监控中需要校验的 表 为对象,定义该表数据质量校验规则的校验方式。通过数据质量规则定义对该表数据的具体校验方式,从而确定该表数据是否符合预期。数据质量监控规则包括基于模板创建的系统模板规则,以及可自定义SQL逻辑的自定义...

数据质量概述

资产质量包括 质量概览、质量监控 和 质量治理:质量概览 为您展示质量规则校验的表数、校验结果为异常的表数等信息,帮助您从整体质量规则校验结果的视角出发,快速识别并处理异常的校验结果。质量监控 为您提供质量规则列表、配置质量...

创建Dataphin表质量规则

Dataphin支持创建校验数据表的质量规则,提升数据表质量监控的便捷性。本文为您介绍如何配置Dataphin表的质量规则。前提条件 已经添加监控对象才可配置质量规则,如何添加监控对象,请参见 添加监控对象 添加及管理监控对象。权限说明 超级...

创建Dataphin表质量规则

Dataphin支持创建校验数据表的质量规则,提升数据表质量监控的便捷性。本文为您介绍如何配置Dataphin表的质量规则。前提条件 已经添加监控对象才可配置质量规则,如何添加监控对象,请参见 添加监控对象。权限说明 超级管理员、质量管理员...

查看质量校验函数

本文介绍如何查看质量校验函数的函数名称、函数标识和云计算资源等信息。前提条件 已创建质量校验函数,具体操作,请参见 新建质量校验函数。操作步骤 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 ...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用