数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
解决方案 存在的问题 流式构建T+1时刻的增量数据表，和离线表的T时刻分区数据做合并，生成离线表T+1分区。存储资源浪费。保存离线的基础表，每个业务时刻的增量数据独立保存，在查询数据时合并基础表和增量表。查询性能差。其中按T保留全量...
完成所有数据表的元数据采样后，单击的 确定。在 Result 页面，即可查看 调试结果。手动上传数据（本地调试方式）采集线上数据（Session集群调试方式）离线模式调试 在 调试配置 对话框的 选择采样模式 页签中，选择 离线模式-FLINK Batch...
完成所有数据表的元数据采样后，单击的 确定。在 Result 页面，即可查看 调试结果。手动上传数据（本地调试方式）离线模式调试 在 调试配置 对话框的 选择采样模式 页签中，选择 离线模式-FLINK Batch任务。单击 下一步。在调试配置对话框...
资产管理 系统资产管理：提供对数据表资产、API资产和指标资产可视化展示，通过编目、公开为实现资产共享做准备。数据表资产管理：支持对数据表资产进行编目，并提供查询、公开、隐藏等功能。API资产管理：支持对数据服务API、三方API、...
数据冗余 一个表做宽表冗余维度属性时，应该遵循以下建议准则：冗余字段与表中其它字段高频率（大于3个下游应用SQL）同时访问。冗余字段的引入不应造成其本身的刷新完成时间产生过多后延。公共层数据不允许字段重复率大于60%的相同粒度数据...
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 RDS/MySQL 是 使用说明 标签对象的使用和读数据表类似，可以做为模型的数据源直接拖拽到画布中使用，在算子详情中可以查看对应标签对象的数据表信息及已上线的标签（可以...
对于按照分区键过滤条件进行分区剪枝的查询性能会有明显提升，另外 PolarDB MySQL版 对分区表做了性能优化，具体请参见 分区表概述。对于大批量的数据，例如一张表一天有1000万行新数据，一个月就3亿行，PolarDB如何应对？请参见文档 ...
如果事实逻辑表中没有定义主键，则度量字段支持从来源主表及其他数据表中选取。在上述创建的事实逻辑表的配置页面，单击 从建表语句引入。在 从建表语句引入 对话框，填写建表语句并单击 解析SQL。在字段列表选择您需要的字段，并单击 添加...
如果事实逻辑表中没有定义主键，则度量字段支持从来源主表及其他数据表中选取。在上述创建的事实逻辑表的配置页面，单击 从建表语句引入。在 从建表语句引入 对话框，填写建表语句并单击 解析SQL。在字段列表选择您需要的字段，并单击 添加...
Tunnel主要用于批量上传数据至离线表，适用于离线计算的场景。DataHub DataHub数据迁移功能通过Connector实现。DataHub Connector可以将DataHub中的流式数据同步至MaxCompute。您只需要向DataHub中写入数据，并在DataHub中配置同步功能，便...
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
本文介绍如何进行我的数据表资产授权管理。前提条件 使用工作组管理员账号登录。已获取数据表资产“dws_ren_kh_demo_di（银行客户信息表）”，具体操作，请参见 数据表。操作步骤 登录 数据资源平台控制台。在顶部菜单栏，单击（我的资产）...
为防止对数据表的误操作，Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，...
为防止对数据表的误操作，Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，...
Dataphin数据表校验记录用于记录质量规则校验Dataphin数据表的结果。本文为您介绍如何查看Dataphin数据表质量规则的校验记录。Dataphin数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 Dataphin数据表 校验...
Dataphin数据表校验记录用于记录质量规则校验Dataphin数据表的结果。本文为您介绍如何查看Dataphin数据表质量规则的校验记录。Dataphin数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 Dataphin数据表 校验...
本文介绍如何查看我的数据表资产。前提条件 使用租户一般用户账号登录。已获取数据表资产“dws_ren_kh_demo_di（银行客户信息表）”，具体操作，请参见 数据表。操作步骤 登录 数据资源平台控制台。在顶部菜单栏，单击（我的资产）。在左侧...
本文介绍如何申请已公开的数据表资产。前提条件 已公开数据表资产“dws_ren_kh_demo_di（银行客户信息）”，具体操作，请参见 表资产。使用租户一般用户登录。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 发现。在...
在 导入数据 步骤中，配置数据表字段的映射关系。映射关系：同行映射：即按相同行数一一对应进行绑定为映射关系。同名映射：即按相同名称一一对应进行绑定为映射关系。导入文件数据列：支持设置为数据列、空值NULL或固定值。单击 开始导入...
在 导入数据 步骤中，配置数据表字段的映射关系。映射关系：同行映射：即按相同行数一一对应进行绑定为映射关系。同名映射：即按相同名称一一对应进行绑定为映射关系。导入文件数据列：支持设置为数据列、空值NULL或固定值。单击 开始导入...
本文介绍如何查找已公开的数据表。前提条件 已公开数据表资产“dws_ren_kh_demo_di（银行客户信息）”，具体操作，请参见 表资产。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 发现。在顶部菜单栏，单击 资产目录 在...
通过我的资产清晰掌握可使用、可管理、已授权的数据表和数据服务API数据资产相关信息。功能特性 支持以用户的视角展示自有权限或申请授权成功的数据表、数据服务API资产。支持特定角色对数据表、数据服务API等数据资产进行管理。工作组管理...
查看已上传数据表详情，包括但不限于数据地图、数据量、数据表大小及项目引用情况。删除数据表 登录 DataV-Atlas控制台。在 数据中心 页面下方，单击数据库列表的 体验空间。在 public 文件夹下选择需要删除的数据表，单击当前数据表右侧的...
全域数据表校验记录用于记录质量规则校验全域数据表的结果。本文为您介绍如何查看全域数据表质量规则的校验记录。全域数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 全域数据表 校验记录页面。参数 说明 ...
全域数据表校验记录用于记录质量规则校验全域数据表的结果。本文为您介绍如何查看全域数据表质量规则的校验记录。全域数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 全域数据表 校验记录页面。参数 说明 ...
通过我的资产清晰掌握可使用、可管理、已授权的数据表、标签和数据服务API数据资产相关信息。功能特性 支持以用户的视角展示自有权限或申请授权成功的数据表、标签、数据服务API资产。支持特定角色对数据表、标签、数据服务API等数据资产...
已生效数据表权限 您可以在数据表 已生效 页签查看数据表基本信息及对数据表执行续期及交还操作。区域 描述 ① 筛选及搜索区 支持按照 到期日期、表类型、表环境、数据板块、表所在项目、账号类型 进行筛选。支持按照数据表的名称、表所在...
已生效数据表权限 您可以在数据表 已生效 页签查看数据表基本信息及对数据表执行续期及交还操作。区域 描述 ① 筛选及搜索区 支持按照 到期日期、表类型、表环境、数据板块、表所在项目、账号类型 进行筛选。支持按照数据表的名称、表所在...
通过我的资产清晰掌握可使用、可管理、已授权的数据表和数据服务API数据资产相关信息。通过不同的权限来源，用户可获取数据表、API等类型数据资产的使用权限。我的资产以用户的视角展示自有权限或申请授权成功的数据表、数据服务API数据...
本文介绍如何审批已被申请的数据表资产。前提条件 已申请数据表资产“dws_ren_kh_demo_di（银行客户信息）”，具体操作，请参见 数据表。使用工作组管理员账号登录。操作步骤 登录 数据资源平台控制台。在页面右上角，单击 图标，选择 系统...
使用说明 仅Dataphin数据表和全域数据表支持配置质量分权重。说明 监控对象的质量分权重，用于统计项目、数据源、个人等视角的质量分。从不同视角查看Dataphin数据表质量规则 Dataphin支持从 全局、项目、个人 三个视角查看Dataphin数据表...
使用说明 仅Dataphin数据表和全域数据表支持配置质量分权重。说明 监控对象的质量分权重，用于统计项目、数据源、个人等视角的质量分。从不同视角查看Dataphin数据表质量规则 Dataphin支持从 全局、项目、个人 三个视角查看Dataphin数据表...
管理数据表权限 在数据表权限详情页面，您可以查看数据表基本信息及对数据表执行申请、续期及交还操作。区域 描述 ① 筛选及搜索区 支持快捷筛选 7天内到期 的数据表。您也可以单击 筛选 按钮，按照 表类型、数据板块、所属项目、表环境 ...
进入 查看数据表 面板，您可以修改数据表内的表头字段类型和字段名，具体请参见 选择数据表。编辑修改完数据表后，单击页面右下角的 下一步 即可进入 修改数据集 页面；单击 返回上一步 即可返回到 查看数据源 页面查看该数据表的创建方式...
管理数据表权限 在数据表权限详情页面，您可以查看数据表基本信息及对数据表执行申请、续期及交还操作。区域 描述 ① 筛选及搜索区 支持快捷筛选 7天内到期 的数据表。您也可以单击 筛选 按钮，按照 表类型、数据板块、所属项目、表环境 ...
本文介绍如何在数据表资产管理中，查看已物理化的数据表。前提条件 已将数据模型“dws_ren_kh_demo_di（银行客户信息）”，物理化到“dataq_odps_dev”云计算资源，具体操作，请参见 物理化逻辑表。操作步骤 登录 数据资源平台控制台。在...
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...