任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
Shuffle Join：Shuffle Join会根据哈希计算，将A、B两张表的数据分散到集群的节点之中，所以这次操作的网络开销为 A表数据量+B表数据量，内存开销为B表数据量。FE中保存了SelectDB每个表的数据分布信息。如果Join语句命中了表的数据分布列...
表类型：支持选择 物理表、元表、镜像表、物理视图、逻辑视图、建模逻辑表、数据源表、数据源视图、数据源物化视图。所属板块/项目/数据源：当表类型选择为 逻辑视图、建模逻辑表 时，建议选择逻辑表所在的数据板块；当表类型选择为 物理表...
维度与事实逻辑表数据延迟用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。本文为您介绍如何配置维度与事实逻辑表数据延迟。使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据...
维度与事实逻辑表数据延迟用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。本文为您介绍如何配置维度与事实逻辑表数据延迟。使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据...
申请表名 选择需要申请权限的计算源表和数据源表，您可以按照数据表名称的关键字进行模糊搜索，也可以批量添加数据表申请权限，或单击 图标，根据 所属板块/项目、表类型 进行精确筛选。表类型：支持选择 物理表、元表、镜像表、物理视图、...
当您成功在DMS上登录数据库后，可在SQL Console中进行创建数据库、创建表、查询表数据、变更表数据等操作。本文以在RDS MySQL数据库中进行操作举例。创建数据库 在RDS控制台创建数据库 访问 RDS实例列表，在上方选择地域，然后单击目标实例...
规则配置流程 您可基于表配置单个表的数据质量监控规则，也可基于模板，批量配置多个表的数据质量监控规则，具体如下。基于表配置数据质量监控规则（单个配置监控规则）按表配置质量规则主要流程如下：选择待配置规则校验的表。为表 创建...
数据权限策略可根据不同的数据等级指定不同的审批规则，能使审批人员着重于高敏感数据，对于公开的数据，可免除审批，从而降低权限审批的负担，本文为您介绍如何配置数据权限策略。权限说明 仅支持安全管理员对数据权限策略执行添加、编辑...
数据权限策略可根据不同的数据等级指定不同的审批规则，能使审批人员着重于高敏感数据，对于公开的数据，可免除审批，从而降低权限审批的负担，本文为您介绍如何配置数据权限策略。权限说明 仅支持安全管理员对数据权限策略执行添加、编辑...
数据读取 MaxCompute存储的数据主要在MaxCompute上进行分析查询，同时支持用户通过数据通道和JDBC进行批量数据读取，或通过外部表-湖仓一体读数据，并将数据写入OSS等湖存储。数据生命周期 MaxCompute表的 生命周期（Lifecycle），指表...
在数据集管理页面，单击 目标数据表卡片，查看数据集详情信息。说明 另一入口：单击全部资源页面左上角的 图标，在 操作 列单击 探查。在 数据预览 页签，查看数据集的表数据信息。单击列名称后的 图标，可对数据集列值进行排序或者筛选。...
数据查询提供通过SQL查询预览数据资源，为开发人员和数据应用人员提供全面直观的数据呈现。本文介绍如何查询物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在页面左上角，...
通过我的资产清晰掌握可使用、可管理、已授权的数据表和数据服务API数据资产相关信息。功能特性 支持以用户的视角展示自有权限或申请授权成功的数据表、数据服务API资产。支持特定角色对数据表、数据服务API等数据资产进行管理。工作组管理...
Dataphin分析平台提供手工表功能，可在平台上手动创建和维护所需的 生产态 的数据表。应用场景 记录并管理数据：可以通过手工表记录和管理数据。例如，业务人员在客户维表中手动更新客户状态，供下游任务使用。同时数据开发、运维人员可以...
背景信息 使用一键同步MaxCompute数据至Hologres进行数据查询时，您需要先在Hologres中创建外部表，该外部表可视为MaxCompute源表（即需要同步的MaxCompute数据所在的表）与Hologres内部表的链接，通过该连接将MaxCompute源表数据同步至...
DataWorks的表管理模块，可按照表所属主题、表所在引擎维度展示表，并通过引擎类型、表所在环境、表名称等信息进行过滤，快速查找目标表并编辑表信息。同时，也可新建表并导入表数据。本文为您介绍表管理的相关功能。前提条件 已定义表主题...
本文介绍了通过ETL资源组访问Lindorm宽表引擎和列存数据的方法，包括环境配置、数据源切换、数据操作等步骤。前提条件 已安装Java环境，要求安装JDK 1.8及以上版本。已开通Lindorm 宽表引擎。已开通Lindorm 计算引擎。已将客户端IP地址添加...
数据查询提供不同数据资源的预览，可为开发人员、数据应用人员和数据分析人员提供全面直观的数据呈现。本文介绍如何预览物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在...
通过我的资产清晰掌握可使用、可管理、已授权的数据表和数据服务API数据资产相关信息。通过不同的权限来源，用户可获取数据表、API等类型数据资产的使用权限。我的资产以用户的视角展示自有权限或申请授权成功的数据表、数据服务API数据...
将某个项目下、数据板块下或数据源下的表授权给另外一个项目、数据板块或数据源的用户或生产账号，或申请某张表下的字段权限，以实现数据互通。本文为您介绍如何批量授予或批量回收表权限。前提条件 需在 元数据中心 配置MySQL和Oracle数据...
将某个项目下、数据板块下或数据源下的表授权给另外一个项目、数据板块或数据源的用户或生产账号，或申请某张表下的字段权限，以实现数据互通。本文为您介绍如何批量授予或批量回收表权限。前提条件 需在 元数据中心 配置MySQL和Oracle数据...
数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...
本文为您介绍数据湖构建中Object数据表的基本操作。新建数据表 登录 数据湖构建控制台。在 数据目录 列表页面，单击Catalog名称，进入Catalog详情页。在 数据库 列表中，单击数据库名称，进入表列表页。在 表列表 中，单击 新建数据表。...
本文为您介绍数据湖构建中Lance数据表的基本操作。新建数据表 登录 数据湖构建控制台。在 数据目录 列表页面，单击Catalog名称，进入Catalog详情页。在 数据库 列表中，单击数据库名称，进入表列表页。在 表列表 中，单击 新建数据表。配置...
Lindorm宽表引擎在集群管理系统中提供了SQL查询入口，您可以使用SQL语法来查询Lindorm宽表数据。本节介绍通过集群管理系统查询宽表数据。前提条件 已登录目标实例的集群管理系统，具体操作请参见 登录集群管理系统。使用限制 为确保数据...
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
本文介绍如何将大表数据归档至DBS内置OSS中。说明 数据归档功能目前处于公测中。前提条件 支持如下类型的源数据库：MySQL类型：RDS MySQL、PolarDB MySQL版。PolarDB PostgreSQL版。PolarDB-X 2.0。说明 MySQL数据库账号必须具有...
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
目录 插入单条数据 插入多条数据 单值分区表插入数据 修改数据-单条数据 修改数据-用查询结果批量修改 说明 若您需对Dataphin中逻辑表进行DML操作，请参见 逻辑表DML操作。插入单条数据 INSERT INTO table_name VALUES(value1,value2,value...
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）方式二：通过 AnalyticDB for MySQL 查询归档数据 具体的查询操作，请参见 导入...
数据表 创建数据表 创建完成数据库后，单击 数据表 页签，选择目标 数据目录 和 库名，单击 新建数据表。配置以下数据表信息，单击 确定。配置项 描述 数据表名称 输入数据表的名称。所属数据目录 选择所属数据目录。所属数据库 选择数据...
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
本文为您介绍将数据归档至 PolarDB MySQL版 的操作步骤。说明 数据归档功能目前...归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）
本文为您介绍数据湖构建中Iceberg数据表的基本操作。表类型介绍 特性 采用湖格式Iceberg表,遵循 Apache Iceberg 的开放API规范，推荐使用 Apache Iceberg Client 读写。数据管理 数据由DLF完全管理，包括元数据和实际数据文件。删除表时，...
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）方式二：通过 AnalyticDB for PostgreSQL 查询归档数据 具体的查询操作，请参见 ...
快速入门简要介绍了如何快速上手数据资源平台，包括不限于数据的接入、治理、建模等。本文介绍数据资源平台入门概述。快速使用说明 准备工作：在使用...查询数据：在数据查询模块中预览插入到物理表的表数据，具体操作，请参见 物理表查询。
为保障任务产出的表数据符合预期，您可以对任务产出表数据进行数据质量监控。本文为您介绍如何配置表dwd_log_info_di_emr的数据质量监控。前提条件 在进行本案例前，请确保已完成 同步数据 和 加工数据。一、进入规则配置页面 进入数据质量...
本文将以 ods_user_info_d_starrocks 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。...