相关概念 模块 概念 概念解释 敏感数据识别 数据分级 数据分级是对数据的敏感等级的设定，用于对数据的敏感等级进行区分。Dataphin内置了 L1（对外公开）-L4（绝密数据）的通用数据分级；同时也支持客户根据企业情况进行自定义分级。数据...
如果业务数据的字段类型不在上述字段类型范围内，推荐 您选择String。Rowkey描述：填写对Rowkey字段的简单描述。列字段配置 新建列字段 列簇名称：配置为HBase业务数据源中实际的列簇名称。列字段名称：配置为HBase业务数据源中实际的列...
如果业务数据的字段类型不在上述字段类型范围内，推荐 您选择String。Rowkey描述：填写对Rowkey字段的简单描述。列字段配置 新建列字段 列簇名称：配置为HBase业务数据源中实际的列簇名称。列字段名称：配置为HBase业务数据源中实际的列...
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
通过数据归档功能，可以将对象存储（OSS）用作归档冷数据的存储介质，从而显著降低存储成本。功能简介 RDS PostgreSQL实例利用表空间和外部文件系统来实现对OSS的访问，允许用户通过DDL完成数据在ESSD和OSS之间的转换。启用数据归档功能的...
示例SQL含义：在当前数据库下，创建历史数据的归档表test_${yearmonth6_name}，并将符合日期要求的历史数据从test表迁移至该表中。单击 预览，检验SQL的正确性。创建清除历史数据节点 在 任务编排 页面的左侧任务类型中，拖曳 单实例SQL ...
冷数据的判定标准如下：当前时间-数据的时间戳=冷热分界线(天)设置冷热分界线的方法 有以下两个方式设置冷热分界线：通过SQL语句在Database的创建或修改中设置冷热分界线。说明 通过SQL设置冷热分界线的方法可参见 CREATE DATABASE 或 ...
本文介绍了外部数据的相关内容。简介 本数据库实现了部分的 SQL/MED 规定，允许我们使用普通 SQL 查询来访问位于本地数据库之外的数据。这种数据被称为外部数据。说明 这种用法不要和外键混淆，后者是数据库中的一种约束 外部数据可以在...
本地备份是系统自动对表数据被删除或修改时备份数据的历史版本，这些数据版本会保留一定时间，并支持对保留周期内的数据进行快速恢复。备份数据默认免费保留1天时间，可设置保留周期大于1天。物化视图（Materialized View）是一种对预计算...
本文介绍数据订阅功能的具体使用流程，帮助您快速掌握创建、监控、管理数据订阅通道及消费数据的操作。背景知识 订阅方案概览 介绍数据订阅功能支持的数据库和支持订阅的数据类型。功能特性 详情请参见 数据订阅。数据订阅使用流程 通常，...
本文介绍冷数据的特点和适应场景，通过表格存储Tablestore和Delta Lake结合示例，演示数据的冷热分层。冷热分层可以充分利用计算和存储资源，以低成本承载更优质服务。背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和...
同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源及...
数据资源平台覆盖数据同步、数据标准建模及数据质量检查、数据开发、数据标签体系构建，基于标签数据的群体分析、专家业务模型构建、全流程任务监控告警、数据服务化、数据资产管理等核心能力，提供标准化程度高、易用性强的一站式大数据...
DLF存储优化支持表级自适应Compaction、过期快照清理、分区生命周期管理、废弃文件清理等能力，帮助用户降低Paimon表使用和运维复杂度，提升计算和存储的使用效率。本文讲述DLF后台执行的智能存储优化策略及其执行机制。重要 产品在邀测...
以MaxCompute、Hologres为例，2个任务写同一个分区数据（同步前清理分区数据 truncate），第一个任务写入的数据可能会被第2个同步任务清理掉。关系数据库配置了前置处理preSql、后置处理postSql等，第一个任务写入的数据可能会被第2个同步...
本文档介绍配置资产数据的方法，以及资产数据面板的内容，包括数据接口、数据源、数据过滤器和数据轮询频次等。操作步骤 登录 DataV控制台。在 我的可视化 页面，单击您创建的可视化应用项目上方的 编辑 按钮。在画布编辑器页面，单击 图层...
元数据中心负责从各业务系统中抽取、加工、集中存储和管理元数据，以支持数据治理，并加强组织内部数据的组织、检索和分析能力。5分钟快速了解 前提条件 默认支持关系型数据库的元数据采集，如需采集其他数据源类型，请增购对应功能。权限...
数据管理 数据管理页面支持上传和管理数据，您可以实现如下多个功能：功能 说明 上传数据 数据管理页面中支持 上传数据 的类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同。...
本文介绍在我的数据页面中针对三种不同类型数据，上传不同格式数据的方法。背景信息 在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。不同类型对应可上传的数据包括：矢量：在矢量页签内，...
本文介绍在我的数据页面中针对三种不同类型数据，上传不同格式数据的方法。背景信息 在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。不同类型对应可上传的数据包括：矢量：在矢量页签内，...
若缺少任一任务的权限，将导致以下后果：直接目标任务无权限：若您对补数据的根任务或其任何下游任务没有操作权限，补数据 将无法执行。中间任务无权限：若某个无权限的任务是此次补数据的中间节点（其上下游均在补数据范围内），系统将对...
暂不支持 使用COPY ON CONFLICT覆盖导入数据 使用COPY命令快速导入数据的过程中，如果数据与表的约束冲突，会导致COPY命令报错退出。AnalyticDB PostgreSQL版 提供了COPY ON CONFLICT功能，可以让数据COPY不会因为约束冲突导致失败。暂不...
本文为您介绍在DataV中添加RDS for MySQL数据源的方法。前提条件 已准备好待添加的RDS for MySQL数据源。...后续步骤 获取原始数据后，可参见 组件数据源配置 进行组件数据的适配。常见问题 更多问题，请参见 数据源配置和使用常见问题。
在用户指定Cluster Key之后，后台Clustering作业会对数据执行增量Reclustering，从而保证数据的整体有序性。Append Delta Table在复杂业务场景上表现优秀，显著的效能提升也反映出数据存储格式的技术优化在大数据分析场景下的核心价值。其...
空间数据支持单文件、多文件、数据库等多种形态，矢量、栅格、倾斜摄影等多种类型，不同格式的多源异构空间数据的接入和管理；支持本地上传、从OSS导入等多种方式添加数据；添加数据的同时支持各类型空间数据的元信息自动解析，支持按空间...
空间数据支持单文件、多文件、数据库等多种形态，矢量、栅格、瓦片、倾斜摄影等多种类型，不同格式的多源异构空间数据的接入和管理；支持本地上传、从OSS导入等多种方式添加数据；添加数据的同时支持各类型空间数据的元信息自动解析，支持...
数据管理 数据库管理 时序数据的存储以Database为粒度进行隔离。支持通过SQL对Database的时间分区间隔、冷热分界线、数据过期时间等属性进行设置。具体操作，请参见 数据库管理。用户和权限管理 支持对时序数据的访问进行用户认证以及存储...
元素 描述 表名（Table）时序表代表一系列同类时序数据的集合，例如为空气质量传感器建立一个Table，存储所有传感器的监测数据。标签（Tag）Tag描述数据源的特征，通常不随时间变化，例如传感器设备，包含设备DeviceId、设备所在的Region等...
本文为您介绍在DataV中添加RDS for PostgreSQL数据源的方法。前提条件 已准备好待添加的RDS for PostgreSQL...后续步骤 获取原始数据后，可参见 组件数据源配置 进行组件数据的适配。常见问题 更多问题，请参见 数据源配置和使用常见问题。
例如，业务将应用数据库迁移到云上，需要应对云平台以及运维人员越权访问数据的潜在威胁；再如，数据应用需要将数据库整体线下部署到客户线下环境，需要防止数据被客户运维非授权获取。敏感数据合规：该场景主要针对在不可信环境（如第三方...
本文为您汇总数据源权限管理相关的问题。哪些角色可以管理数据源的权限？是否支持再次分享已被分享的数据源？数据源的创建者是否有权控制该数据源？什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的...
实时数据通道 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。收益 系统解耦...
处理建议 您可以根据所给的建议，进行敏感数据规则设置，以便全面掌握敏感数据分布情况，保护敏感数据的安全。诊断详情列表 数据安全防护诊断 帮助您提升敏感数据的安全性。安全检测维度 安全检测项 检测对象 检测方式 敏感数据保护 数据...
备份数据量指当月备份数据的流量，为每次备份持续累计的结果。即使这个备份因为达到备份上限后被删除了，实际数据量也不会下降。如果增量备份数据量为0，可能原因为：从未开启过增量备份。如何开启，请参见 开启或关闭增量日志备份。已开启...
5分钟快速了解 背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效地配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错、...
什么是数据管理DMS 支持的数据库类型与功能 云数据库录入 DataV 数据可视化 DataV 数据可视化是使用可视化应用的方式来分析并展示庞杂数据的阿里云产品。您可以使用 DataV 添加 OceanBase for MySQL 数据源，通过图形化的界面处理 ...
迁移性能 延迟 同步延迟 是指同步或迁移到目标库的最新数据的时间戳，与源库的当前时间戳之间的差值。如果延迟为0，则源数据库与目标库的数据完全同步。说明 DTS实例的延迟时间可能不会始终显示为0。在源库无数据写入且DTS实例的延迟为0...
云数据库 Memcache 版作为缓存产品是允许用户根据业务需求设置在其中存放数据的过期时间的。例如在执行 add 操作的时候可以设置 expire 过期时间（如下图）。但是用户在使用的过程中会发现在设置云数据库 Memcache 版的过期时间后发现资源...
本文为您介绍在DataV中添加RDS for PostgreSQL数据源的方法。前提条件 已准备好待添加的RDS for PostgreSQL数据源。通过内网添加数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表中，...
本文为您介绍在DataV中添加AnalyticDB for MySQL数据源的方法。前提条件 已准备好待添加的AnalyticDB for ...后续步骤 获取原始数据后，可参见 组件数据源配置 进行组件数据的适配。常见问题 更多问题，请参见 数据源配置和使用常见问题。