支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL 重要 2022年09月09日前创建的数据同步任务，需在配置同步任务前，在源库中创建触发器和函数来捕获DDL信息，详情请参见 通过触发器和函数实现PostgreSQL的DDL增量...
说明 对CDH集群中的数据进行识别和脱敏时，您需要通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别，抽样采集的数据不会存储至DataWorks中，没有数据泄漏风险。详情请参见 CDH Hive...
该数据清理机制支持定制，通过配置实现在不同情况下对 SharedPreference、Database 数据库的清理，在极特殊情况下清空整个应用的数据，以保证应用的正常运行。目前该机制已经覆盖了 10.1.32、10.1.60 和 10.1.68 系列基线。为满足保护重要...
本文以同步业务RDS数据库的数据至MaxCompute为例，为您介绍如何对不同场景的数据进行增量同步。背景信息 根据需要同步的数据在写入后是否发生变化，分为恒定的存量数据（通常是日志数据）和持续更新的数据（例如人员表中，人员的状态会发生...
GetDataCronClearTaskDetailList 获取历史数据清理工单任务详情 获取历史数据清理工单任务详情。GetDataCorrectRollbackFile 获取数据变更工单提交的回滚附件下载地址 调用GetDataCorrectRollbackFile接口，获取数据变更工单提交的回滚附件...
EMR Workflow的数据源中心支持配置数据源，以满足不同的数据存储和访问需求。本文为您介绍如何创建、编辑和删除数据源。使用限制 数据源所在的集群和运行工作流时选择的集群需要在同一VPC下。创建数据源 进入数据源中心页面。使用阿里云...
多元索引每天会自动清理已过期的数据，过期数据的清理粒度为“天”，因此您仍然可以查询到某一时刻已过期但是还未及时清理的数据，多元索引会在下一次清理过期数据时自动清理这些过期数据。数据表和多元索引的TTL更新后，系统会在下一次...
多元索引每天会自动清理已过期的数据，过期数据的清理粒度为“天”，因此您仍然可以查询到某一时刻已过期但是还未及时清理的数据，多元索引会在下一次清理过期数据时自动清理这些过期数据。数据表和多元索引的TTL更新后，系统会在下一次...
多元索引每天会自动清理已过期的数据，过期数据的清理粒度为“天”，因此您仍然可以查询到某一时刻已过期但是还未及时清理的数据，多元索引会在下一次清理过期数据时自动清理这些过期数据。数据表和多元索引的TTL更新后，系统会在下一次...
比如在按天进行数据同步前清理对应天分区的数据，保证本次数据写入前对应分区是无数据的。批量插入字节大小、批量插入条数 数据同步写入ClickHouse时采用攒批写入方式，此处是攒批的字节数上限、条数上限。如果读取到的数据达到攒批的字节...
PolarDB PostgreSQL版（兼容Oracle）默认的参数模板适用于大多数通用的数据库场景，对于一些特殊的数据库场景，默认模板可能无法满足需求，您可以通过调整相关的数据库参数，对集群性能进行优化。资源消耗参数 参数名 参数说明 shared_...
kafka-topics.sh-bootstrap-server core-1-1:9092-topic test-topic-describe 数据清理方式恢复 方案描述 数据清理是指当磁盘被写满时，将业务日志数据（非Kafka内部Topic数据）按照从旧到新的方式删除，直到释放出足够的空间。适用场景 写...
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
超过有效期的数据会被自动清理，通过集群管理系统创建的表必须填写TTL参数。说明 如果您想要永久保留数据，可以通过表变更管理修改TTL参数的值为-1。具体操作，请参见 表变更管理。TTLUnit 是 数据保存有效期的单位，共天（DAYS）、小时...
超过有效期的数据会被自动清理，通过集群管理系统创建的表必须填写TTL参数。说明 如果您想要永久保留数据，可以通过表变更管理修改TTL参数的值为-1。具体操作，请参见 表变更管理。TTLUnit 是 数据保存有效期的单位，共天（DAYS）、小时...
支持的数据库 RDS、PolarDB、PolarDB-X、OSS和MaxCompute。支持的模型列表 您可以在 数据安全中心控制台 安全态势 策略管理 页面的 异常检测模型 页签下，查看DSC支持的内置检测模型。各模型的详细说明请参见下表。模型类型 模型名称 告警...
历史数据清理 支持历史数据清理，可以根据设定的规则定期清理历史数据。可编程对象 支持存储过程、触发器、函数、视图等对象的变更提交与执行。数据导入 支持大批量数据快速导入至数据库。数据导出 SQL结果集导出 支持数据的SQL结果集导出...
概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个数据库。数据库：数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可以简单理解为存放数据的仓库。字符...
简介 本数据库实现了部分的 SQL/MED 规定，允许我们使用普通 SQL 查询来访问位于本地数据库之外的数据。这种数据被称为外部数据。说明 这种用法不要和外键混淆，后者是数据库中的一种约束 外部数据可以在一个外部数据包装器的帮助下被访问...
数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步...
如果在HDFS上的数据库和表是手动创建的，在释放集群时候需要清理。解决方法：登录集群的Master节点，在$HIVE_CONF_DIR/hivemetastore-site.xml 中，找到对应数据库的访问地址和用户名密码信息。javax.jdo.option.ConnectionUserName/对应...
新增 数仓规划概述 数据引入 数据集成是Dataphin的能力模块，是简单高效的数据同步平台，提供强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力，为数据中台的建设打好坚实的数据基座。新增 数据集成概述 数据开发 数据...
数仓规划概述 离线集成 数据集成是Dataphin的能力模块，是简单高效的数据同步平台，提供强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力，为数据中台的建设打好坚实的数据基座。数据集成概述 数据建设 数据建设支持离线...
创建RDS MariaDB实例后，您需要在实例中创建与您业务相关的数据库。RDS MariaDB支持通过控制台、SQL命令、API接口管理数据库，包括创建、删除数据库。背景信息 概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个...
入仓解决方案可添加和运行多个实时同步任务、实时迁移任务，实现全量或近实时增量迁移和集成数据，用于满足项目空间内业务场景的数据迁移和集成需求。根据所需的同步效率、同步数据量需求，创建入仓解决方案同步线上库数据。入仓解决方案...
数据集成（Data Integration）是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。关于数据集成的更多信息...
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文介绍全密态数据库的概念、应用场景和安全分级。更多...
为了提供更好的分析性能，云数据库 SelectDB 版 的存储引擎针对计算场景进行深度耦合设计：数据模型：云数据库 SelectDB 版 针对典型的数据分析场景，提供了优化设计的数据模型。例如主键模型（Unique模型）用于满足具有主键唯一性约束的...
背景信息 Databricks数据洞察为了满足您在计算任务里访问您在阿里云上已有的数据，支持通过添加外部数据源的方式，打通集群到您自己VPC下的网络环境。绑定数据源 绑定数据源的本质是打通不同VPC之间的网络，即将数据源集群所在VPC与目标...
数据时效（TTL）数据时效是指数据保存有效期，超过有效期的数据会被自动清理，默认数据有效期为永久保存。场景示例 某风力电厂包含一系列的智能风力发电机设备，创建名为 Wind-generators 的table来存储所有设备的信息，设备由 ID、型号、...
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
系统默认的数据同步时间是00:30，您可以根据业务规律，将数据同步时间设置在业务低峰期，以免同步过程中可能对业务造成的影响。高级选项 自定义设置项，例如过滤字段等。完成上述参数配置后，单击 创建，创建OSS数据仓库。说明 数仓创建...
问题描述 Quick BI在查看仪表板的时候图表显示的数据和数据集或者数据源中查询的结果不一致。问题原因 当前打开的仪表板长时间未刷新导致的数据显示延迟。本地浏览器缓存数据导致显示延迟。Quick BI数据集缓存未清理。PostgreSQL加速导致...
Ganos FDW提供了灵活的数据映射和查询优化机制，使外部数据源的数据可以像本地表一样进行查询和操作，为地理空间数据的集成和分析提供了便利。快速入门 简介 快速入门文档帮助用户快速理解Ganos FDW引擎的基本用法，包括扩展创建、注册外表...
Ganos FDW提供了灵活的数据映射和查询优化机制，使外部数据源的数据可以像本地表一样进行查询和操作，为地理空间数据的集成和分析提供了便利。更多内容请参见 FDW SQL参考。快速入门 简介 快速入门文档帮助用户快速理解Ganos FDW引擎的基本...
注意事项 退订包年包月或按量付费的敏感数据保护服务，不会清理实例上已有的数据分类分级信息（含配置的脱敏规则）。说明 只有关闭实例的敏感数据保护功能，才会清理实例上的数据分类分级信息。更多信息，请参见 关闭敏感数据保护。因退订...
开发和生产隔离：同一个名称的数据源存在开发环境和生产环境两套配置，配置数据同步任务时会使用开发环境的数据源，提交生产运行时会使用生产环境的数据源。您可以通过数据源隔离使其在不同环境隔离使用。离线同步任务配置相关能力 支持的...
您可以在DataV控制台单击 我的数据 数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...