删除数据表 暂不支持在 PolarDB-X 1.0 控制台上直接删除数据表，您可以登录数据库后使用SQL语句删除目标数据表，详情请参见 使用SQL语句删除表。进入数据表配置页面 登录 PolarDB分布式版控制台。在页面左上角选择目标实例所在地域。在左侧...
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。不同开发方式的使用方法、...
数据表 API 标题 API概述 GetTableCompaction 获取表合并信息 查看表Compaction详情 GetTable 获取数据表详情 获取数据湖中数据表的详细信息。CreateTable 新增数据表 创建数据湖的数据表。AlterTable 更新数据表信息 根据名称更新数据湖中...
云原生数据仓库AnalyticDB PostgreSQL版 提供PB级数据实时交互式分析、ETL/ELT、BI报表展示功能，支持数据高吞吐实时写入与批量导入，提供ACID保证和标准事务隔离级别，采用MPP全并行架构，是一款具有高性价比的云原生数仓产品，提供基于...
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
DataWorks数据目录融合了Hologres动态表引擎的功能，提供了一套可视化工具用于动态表管理、调度依赖以及任务维护等操作。方便您在DataWorks中创建使用Hologres动态表。前提条件 已创建新的工作空间并勾选 使用新版数据开发（Data Studio）...
背景信息 在使用此功能将MaxCompute的内部表数据同步到Hologres的内部表时，数据首先会被导入至Hologres的外部表中，随后再从该外部表同步至Hologres的内部表。其中，MaxCompute的数据向Hologres外部表的同步过程是通过执行 IMPORT FOREIGN...
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、基于Catalog开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。...
所选资源组需绑定至待接收数据的表所在的DataWorks工作空间，且需确保数据上传任务使用的数据源与所选资源组网络连通。说明 通过数据分析 配置引擎使用的资源组，请参见 系统管理。配置数据源与资源组 网络连通，请参见 网络连通方案。配置...
本文将以 ods_user_info_d_starrocks 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。...
本文将以 ods_user_info_d_emr 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。您可以参考...
本文将以 ods_user_info_d_starrocks 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。...
本文将以 ods_user_info_d_spark 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。...
本文将以 ods_user_info_d_spark 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。...
RDS PostgreSQL支持库表恢复功能，您可将指定的库按备份集或时间点恢复至原实例或其他已有实例，无需恢复全部数据，可用于误操作后的快速订正，以及分析历史数据等场景。功能说明 功能项 说明 恢复范围 实例中指定的库。说明 恢复范围取决...
本文将以 ods_user_info_d_spark 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。...
本文将以 ods_user_info_d_spark 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。...
使用最新维表（维表使用最新分区）：数据计算时使用最新关联维度逻辑表的最新分区。例如，某商品类目经常会调整，10天前是手机类目，今天是电器类目。如果业务上需要按照电器类目重跑10天前的数据，则维表版本策略需要选择为 使用最新维表...
统计周期即统计数据的时间范围，例如最近7天、最近30天等。本文为您介绍如何新建统计周期。前提条件 需开通智能研发版或资产运营 高级版 功能才能使用统计周期。完成计算引擎类型设置，详情请参见 计算设置。计算引擎类型设置完成后，系统...
统计周期即统计数据的时间范围，例如最近7天、最近30天等。本文为您介绍如何新建统计周期。前提条件 需开通智能研发版或资产运营 功能才能使用统计周期。完成计算引擎类型设置，详情请参见 计算设置。计算引擎类型设置完成后，系统会自动...
方法二：使用库表恢复功能将全量数据恢复至原实例，具体请参见 恢复库表。方法三：如果有使用数据灾备创建逻辑备份，可以直接将其恢复至原实例，具体请参见 恢复逻辑备份。恢复到其他已有实例 方法一：先 恢复到新实例，验证数据后，再 ...
为保障任务产出的表数据符合预期，您可以对任务产出表数据进行数据质量监控。本文为您介绍如何配置表dwd_log_info_di_emr的数据质量监控。前提条件 在进行本案例前，请确保已完成 同步数据 和 加工数据。一、进入规则配置页面 进入数据质量...
自动生成逻辑表的功能，可以大大简化逻辑表的配置步骤，一般情况下，我们都可以使用自动生成逻辑表来扫描源端数据源，简化大部分配置操作。如果自动扫描的结果不符合预期，只需要对自动扫描的结果做简单修正即可。复杂的物理库表规则可以...
为保障任务产出的表数据符合预期，您可以对任务产出表数据进行数据质量监控。本文为您介绍如何配置表dwd_log_info_di_emr的数据质量监控。前提条件 在进行本实验前，请确保已完成 同步数据 和 加工数据。步骤一：进入规则配置页面 进入数据...
本文为您介绍将数据归档至 PolarDB MySQL版 的操作步骤。说明 数据归档功能目前...归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）
说明 若接收数据的目标表不是通过DTS创建（同步类型 未选中 库表结构同步），则需确保该表与源库中待同步的表具备相同的主键或非空唯一约束，否则可能会导致目标数据库中出现重复数据。待同步的数据库名称中间不能包含短划线（-），例如dts...
Lindorm宽表引擎在集群管理系统中提供了SQL查询入口，您可以使用SQL语法来查询Lindorm宽表数据。本节介绍通过集群管理系统查询宽表数据。前提条件 已登录目标实例的集群管理系统，具体操作请参见 登录集群管理系统。使用限制 为确保数据...
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）方式二：通过 AnalyticDB for MySQL 查询归档数据 具体的查询操作，请参见 导入...
离线数据集成节点赋予任务流进行数据传输的能力，帮助您实现数据源之间的数据同步。本文介绍配置离线数据集成节点的方法。应用场景 离线集成节点主要用于数据迁移、数据传输等场景。功能特性 不限制来源表和目标表数据库类型。支持字段映射...
元数据管理功能主要展示当前实例的所有数据库、数据表、分区及各种任务等信息，同时支持创建数据库和数据表，并定义其列及相关属性。前提条件 已创建StarRocks实例，详情请参见 创建实例。使用限制 普通用户无法查看数据库大小、缓存数据...
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）方式二：通过 AnalyticDB for PostgreSQL 查询归档数据 具体的查询操作，请参见 ...
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）方式二：通过Lindorm查询归档数据 宽表引擎 数据查询。周期调度 配置项 说明 调度...
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）方式二：通过Lindorm查询归档数据 宽表引擎 数据查询。周期调度 配置项 说明 调度...
同步Impala数据源的数据至其他数据源的场景中，您需要先配置Impala输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Impala输入组件。前提条件 已创建Impala数据源，如何创建，请参见 创建Impala数据源 进行Impala...
数据管理是用来查看实例中的数据以及数据的组织形式，例如库表结构、数据大小、建表语句、表字段信息和数据预览的可视化工具。本文介绍如何使用 云数据库 SelectDB 版 的数据管理。前提条件 已创建 云数据库 SelectDB 版 实例。具体操作，...
对于不带分区的Hudi格式，您也可使用单表离线同步方案，但无需在DataWorks数据开发模块创建离线同步任务，直接在DLF控制台中创建 关系数据库全量入湖 类型的任务即可，具体操作可参考 OSS数据进行格式转换入湖。单表离线同步 在DataWorks ...
DataWorks的数据对比节点可实现对不同表之间的数据进行多种方式的对比，并可在工作流中使用。本文为您介绍使用数据对比节点进行任务开发的主要流程。节点介绍 数据对比节点不仅仅用于数据集成，还支持表与表之间的对比。同时，它还支持...
同步OpenGauss数据源的数据至其他数据源的场景中，您需要先配置OpenGauss输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置OpenGauss输入组件。前提条件 已创建OpenGauss数据源，如何创建，请参见 创建OpenGauss...