为保障任务产出的表数据符合预期，您可以对任务产出表数据进行数据质量监控。本文为您介绍如何配置表dwd_log_info_di_emr的数据质量监控。前提条件 在进行本实验前，请确保已完成 同步数据 和 加工数据。步骤一：进入规则配置页面 进入数据...
本文将以 ods_user_info_d_emr 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。您可以参考...
本文将以 ods_user_info_d_starrocks 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。...
本文将以 ods_user_info_d_spark 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。...
本文将以 ods_user_info_d_spark 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。...
DataWorks的数据同步节点支持将MaxCompute中的单表数据同步到Hologres，帮助您更高效地进行大数据分析和实时查询。本文将详细介绍配置流程，让您轻松迁移数据并充分利用Hologres的高性能查询能力。背景信息 在使用此功能将MaxCompute的内部...
本文将以 ods_user_info_d_spark 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。...
本文将以 ods_user_info_d_spark 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。...
逻辑库在进行数据归档时，会将所有逻辑库的表都合并到一个物理表内，因此在归档视图页面中，查询任意一个逻辑表就可以查询到逻辑库中所有表的数据。Q：同一个工单内进行了多次归档，即周期归档，在进行数据查询时，可以查询指定时间段的...
本文为您介绍数据湖构建中Format数据表的基本操作。表类型介绍 数据管理：数据由DLF完全管理，包括元数据和实际数据文件。存储系统：数据存储路径由DLF基于UUID自动生成，用户无需手动指定存储路径。删除行为：删除表时，默认保留数据1天以...
先清空表数据：先清空目标表数据，再将数据全量导入至目标表中相应的映射字段。追加：将待上传数据追加至目标表相应映射字段中。目标表 新建表 表名 自定义新建表表名。说明 MaxCompute引擎新建表过程，使用的是DataWorks计算资源里面配置...
为了支持增全量存储和处理一体化架构，Delta Table（简称DT）设计了统一的表数据组织格式，既可支持MaxCompute普通表的所有功能，同时也能很好的支持增量处理链路的新场景，包括time travel查询、upsert操作等。本文为您介绍DT的表数据格式...
数据探查 单击 数据探查，展示数据预览、表信息、临时查询信息和数据探查相关信息。重要 如该表类型在数据查询模块不支持，则此处不展示探查功能。单击 数据预览，对数据表数据进行预览。更多信息，请参见 预览物理表数据。单击 表信息，...
提供不同数据资源的快速预览和字段详情查看，便于开发人员、数据应用人员和数据分析人员全面直观的了解数据，本章节介绍如何预览物理表。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在工作组中分别添加数据...
完成数据源、网络、资源的准备配置后，您可创建实时同步任务，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。准备...
当您需要全面了解并高效地使用表数据，您可在 数据管理DMS 的SQL窗口查看表的详细信息，包含表所属库、字段、索引、行数等技术元数据，类目、表描述等业务元数据，以及表权限、表Owner等管理元数据。背景信息 DMS在表详情中引入表的元数据...
逻辑表 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，。当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的...
创建MaxCompute数据源并绑定至DataWorks数据开发后，您可以直接在数据地图进行MaxCompute表的相关操作。包括数据检索、数据预览、查看元数据详情、查看数据血缘关系、分类分组管理数据表、数据洞察等操作。本文为您介绍如何在数据地图查看...
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
导入成功后，将在数据库中生成三张表：glTF主表 通过指定主表数据字段和主表主键字段，您可以将数据导入自己的业务表中，该表需要支持仅插入这两个字段的操作（即必须字段需要有自动填充值）。主表结构如下：字段 类型 说明 备注 id serial...
导入成功后，将在数据库中生成三张表：glTF主表 通过指定主表数据字段和主表主键字段，您可以将数据导入自己的业务表中，该表需要支持仅插入这两个字段的操作（即必须字段需要有自动填充值）。主表结构如下：字段 类型 说明 备注 id serial...
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。不同开发方式的使用方法、...
数据库对象 AnalyticDB PostgreSQL版 不仅仅是关系型也是对象-关系型，数据库的对象通常包括：表、视图、函数、序列、索引、分区子表、外部表等，而对象-关系型则进一步支持用户自定义对象和它的属性，包括数据类型、函数、操作符，域和...
数据表 API 标题 API概述 GetTableCompaction 获取表合并信息 查看表Compaction详情 GetTable 获取数据表详情 获取数据湖中数据表的详细信息。CreateTable 新增数据表 创建数据湖的数据表。AlterTable 更新数据表信息 根据名称更新数据湖中...
MaxCompute表数据写入 您可通过 数据集成任务、MaxCompute节点任务 向MaxCompute表中写入数据，此外，DataWorks还支持通过 上传数据 功能将本地数据导入MaxCompute表中。MaxCompute表数据导出 在数据开发（DataStudio）查询数据后，您可...
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）常见问题 Q：在工单配置时未指定目标数据库，源数据库的数据会归档到目标实例的...
上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式样例模板，您可根据下载的样例编辑需要上传的数据，单击 上传 后，数据自动填充至 元数据采样 区域。手动输入数据 适用于采集的数据比较少，...
向Unified Catalog内的表中插入数据 同StarRocks内表一致，如果您拥有Unified Catalog内表的INSERT权限，那么您可以使用INSERT将StarRocks表数据写入到该表（当前仅支持写入到Parquet格式的Unified Catalog表）。说明 您可以通过 GRANT ...
该功能可以简化数据湖的构建和存储管理、优化任务，同时也支持存储Iceberg、Paimon等类型的结构化表数据和非结构化文件对象。该功能主要适用于需同时满足离线批处理和实时分析的场景。本文主要介绍如何创建、修改湖存储以及查看湖存储的...
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将符合筛选条件的表数据归档至其他数据库或存储服务中。...
MaxCompute表数据写入 您可通过 数据集成任务、MaxCompute节点任务 向MaxCompute表中写入数据，此外，DataWorks还支持通过 上传数据 功能将本地数据导入MaxCompute表中。MaxCompute表数据导出 在数据开发（DataStudio）查询数据后，您可...
DataWorks数据目录融合了Hologres动态表引擎的功能，提供了一套可视化工具用于动态表管理、调度依赖以及任务维护等操作。方便您在DataWorks中创建使用Hologres动态表。前提条件 已创建新的工作空间并勾选 使用新版数据开发（Data Studio）...
数据查询为用户提供对云计算资源中物理表基本情况的概览能力，帮助用户直观了解物理表基础信息、字段内容分布等情况，建立对数据表的宏观理解，为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。如果数据表格存储的是...
本文为您介绍数据湖构建中如何对数据目录、数据库、数据表进行授权。使用限制 仅有 DLF super_administrator、DLF admin 以及拥有资源 Grant 权限的用户可以为用户或角色赋权，可联系 DLF super_administrator 赋予 admin 权限。数据目录 ...
离线数据集成节点赋予任务流进行数据传输的能力，帮助您实现数据源之间的数据同步。本文介绍配置离线数据集成节点的方法。应用场景 离线集成节点主要用于数据迁移、数据传输等场景。功能特性 不限制来源表和目标表数据库类型。支持字段映射...
当您需要将大批量数据以附件（SQL、CSV、Excel）形式快速导入数据库时，可以使用DMS的数据导入功能。前提条件 数据库类型如下：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB for MySQL、其他来源MySQL。...
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本案例前，请确保已完成 同步数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本案例前，请确保已完成 同步数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）方式二：通过Lindorm查询归档数据 宽表引擎 数据查询。周期调度 配置项 说明 调度...
使用场景 表数据迁移 表数据备份 表数据分析 前提条件 数据库类型如下：关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL版、其他来源MySQL。SQL Server：RDS SQL Server、MyBase SQL ...