对比项 DTS数据迁移 DTS数据同步 适用场景 主要用于迁移数据上云，例如将本地数据库、ECS上的自建数据库或第三方云数据库迁移至阿里云Redis实例。主要用于两个Redis数据库之间的数据实时同步，例如从实例A同步至实例B。可用于异地多活、...
【数据标准】模块，主要用来对数据标准进行相关操作。添加数据标准 添加数据标准的方式有两种，第一种是手动在平台中单个添加标准，第二种是通过Excel的形式批量将数据标准维护到平台中去。进入【数据标准】模块，点击‘“创建数据标准”...
本节主要介绍 OceanBase 数据库的主要应用场景。交易支付透明拆分 交易支付是蚂蚁集团最核心的一个业务，最初采用的是分库分表的解决方案。分库分表的方案给核心业务带来了水平扩展的能力，同时也带来了灰度升级的能力，让核心业务的系统性...
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大...
集成与开发（DTS）数仓开发 数仓开发以数据库为主要计算引擎，融合数据库生态中多种工具和服务（如DTS、DLA等），让用户可以轻松拥有数据仓库进行开发和管理。任务编排 任务编排主要用于编排各类任务并进行调度执行，通过创建一个或多个...
定时调度补数据任务页面介绍 定时调度补数据任务页面主要由操作区、筛选区、定时调度补数据任务列表、批量操作区组成。您可以在定时调度补数据任务页面对创建的定时调度补数据任务进行相关的运维操作。区域 描述 ① 操作区 操作区支持以下...
数据管理DMS 的任务编排主要用于编排各类任务节点并进行周期或事件调度执行。您可以通过创建一个或多个任务节点组成的任务流，实现复杂的任务调度，提高数据开发效率。背景信息 随着互联网和物联网的飞速发展、数据规模急剧增长、数据来源...
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
定时调度补数据任务页面介绍 定时调度补数据任务页面主要由筛选和功能区、补数据任务列表、批量操作区组成。您可以在定时调度补数据任务页面对创建的定时调度补数据任务进行相关的运维操作。区域 描述 ① 筛选和功能区 筛选和功能区支持...
集成与开发（DTS）数仓开发 数仓开发以数据库为主要计算引擎，融合数据库生态中多种工具和服务（如DTS、DLA等），让用户可以轻松拥有数据仓库进行开发和管理。任务编排 任务编排主要用于编排各类任务并进行调度执行，通过创建一个或多个...
数据板块待发布对象 待发布数据板块页面主要由搜索与筛选区、数据架构对象列表、批量操作组成。各区域及操作说明如下。区域 描述 ① 搜索与筛选区 搜索及筛选区支持根据发布对象变更类型、环境变更、发布状态或输入数据板块名称、英文名称...
数据板块待发布对象 待发布数据板块页面主要由搜索与筛选区、数据架构对象列表、批量操作组成。各区域及操作说明如下。区域 描述 ① 搜索与筛选区 搜索及筛选区支持根据发布对象变更类型、环境变更、发布状态或输入数据板块名称、英文名称...
概念介绍 云数据库 OceanBase 的数据库实例主要有集群实例和租户实例两种类型。集群实例：在云数据库 OceanBase 中，一个集群实例指 OceanBase 数据库及其运行所需的资源组合，关联了若干服务器节点、专有网络等云资源。租户实例：基于 ...
集成与开发（DTS）数仓开发 数仓开发以数据库为主要计算引擎，融合数据库生态中多种工具和服务（如DTS、DLA等），让用户可以轻松拥有数据仓库进行开发和管理。任务编排 任务编排主要用于编排各类任务并进行调度执行，通过创建一个或多个...
通过DataV调用数据服务API主要包含以下二个步骤。添加DataWorks数据源：在DataV中添加DataWorks数据源。在可视化应用中调用数据服务API：在组件的数据配置中，配置API数据源参数。操作步骤 添加DataWorks数据源。使用HTTP协议进入 DataV...
将相同含义的内容规划到一起，然后提取一个亮点数据进行主要展示。通常是地图内容或者架构图排布在中间。有了撑场的内容，再加上两侧的数据面板，数字大屏就会显得饱满。如下图，将风力电厂的分布作为一个亮点，放在地图中间，左右放两组...
本文主要介绍了 PolarDB 数据库代理（Proxy）提供的 全密态PolarMySQL 功能。前提条件 PolarDB 数据库代理版本需为 2.8.36 或以上。如何查看和升级当前数据库代理版本，请参见 小版本升级。背景信息 随着国家对数据安全和个人敏感信息的...
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文介绍全密态数据库的概念、应用场景和安全分级。什么...
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
什么是全密态数据库 全密态数据库是 达摩院数据库与存储实验室 与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何...
本文主要介绍 云数据库 SelectDB 版 中内建的智能索引以及使用时的注意事项。背景信息 索引用于快速过滤或查找数据。目前 云数据库 SelectDB 版 主要支持两类索引：内建的智能索引，包括ZoneMap索引和前缀索引。创建的二级索引，包括倒排...
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
OceanBase 数据库企业版 V4.2.1 OceanBase 数据库企业版 V3.2.4 OceanBase 数据库企业版 V3.2.3 V4.2.1 版本数据库参考文档 模式 文档 简介 通用 数据库设计规范和约束 本文档为您介绍 OceanBase 数据库的对象命名、对象结构设计、字符集、...
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 OceanBase 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
方案 业务系统采用JSON类型主要由于半结构化数据的灵活性和高效分析的需求，因此，灵活性与高性能就成为衡量海量半结构化数据分析的解决方案好坏的关键指标。传统数据库解决方案 传统关系型数据库（MySQL、PostgreSQL与ClickHouse等）在...
背景信息 DataWorks接入数据建模前，主要集中于数据开发中和开发后的治理。而数据建模新增定义数据形态的流程，为您提供一站式的模型管理解决方案和数据开发前的治理能力。在数据建模时，您可以根据对业务流程的理解和需求的调研，定义企业...
DataWorks数据服务的主要目标是为个人、团队和企业构建统一的数据服务总线，帮助用户统一管理面向内外部的API服务。例如，您可以将查询数据表功能快速的生成对应的API，或将已有的API注册至数据服务平台进行统一发布和管理。本文以MySQL...
名词解释 元数据：是描述数据的数据（Data About Data），主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。主题域：为您展示数据架构部分已经创建好的主题域，便于您根据主题域更快捷的进行资产...
名词解释 元数据：是描述数据的数据（Data About Data），主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。主题域：为您展示数据架构部分已经创建好的主题域，便于您根据主题域更快捷的进行资产...
说明 本文主要讨论按照数据创建时间的冷热数据分层。冷数据特点 数据量大：相对于热数据，冷数据通常需要保存较长时间，甚至永久保存。成本管控：数据量大且访问频率较低，不宜投入过多成本。性能要求低：相较于普通的TP请求查询，无需在...
本文档主要为您说明阿里云数据库文件存储DBFS的主要优势。数据库文件存储DBFS是阿里云推出的一款针对数据库场景的文件存储。它在性能、弹性、高可用、成本及数据安全等维度上做了诸多技术创新与优化。适合云上自建数据库使用，提供企业级...
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
DTS服务端的日志拉取模块主要实现从数据源抓取原始数据，通过解析、过滤、标准格式化等流程，最终将增量数据在本地持久化。日志抓取模块通过数据库协议连接并实时拉取源实例的增量日志。例如源实例为RDS MySQL，那么数据抓取模块通过Binlog...
由于多个主机的数据库实例需要访问块存储上的同一份数据，常用的Ext4等文件系统不支持多点挂载，PolarDB数据库团队自行研发了专用的用户态文件系统，提供常见的文件读写查看接口，支持类似O_DIRECT的非缓存方式读写数据，还支持数据页原子...
本节主要介绍 OceanBase 数据库的核心特性。分布式事务引擎 OceanBase 数据库的分布式事务引擎严格支持事务的 ACID 属性，并且在整个集群内严格支持数据强一致性，是全球唯一一家通过了标准 TPC-C 测试的原生分布式关系型数据库产品。...
本文主要列举使用 数据管理DMS 时遇到的常见问题。商品订单 如何查看与管理DMS的商品订单？DMS商品订单与数据库实例是绑定关系吗？已购买的包年包月和按量付费商品，在DMS使用上有没有区别？已退订DMS按量付费商品订单，为何还会收到账单...
数据迁移和数据同步的区别如下表所示：对比项 数据迁移 数据同步 适用场景 主要用于上云迁移，例如将本地数据库、ECS上的自建数据库或第三方云数据库迁移至阿里云数据库。主要用于两个数据源之间的数据实时同步，适用于异地多活、数据灾备...