随着业务的发展,业务数据库(MaxCompute数据仓库的数据源)会出现数据库扩容或者DDL变更,这些变更都要主动通知到离线开发人员。基于MaxCompute的数据仓库在进行离线数据抽取时,通过DataWorks的数据集成工具,可能会限制某个业务数据库表...
背景信息 传统的备份数据查询有两种方式:将备份数据文件导入至数据库,再通过数据库操作对数据进行查询,但是这种方式耗费时间长,且可能会导致数据文件被修改。通过 Hive 的方式直接对文件进行查询,但是这种方式对数据文件格式有严格的...
说明 数据库容器CDB(Container Database)是Oracle 12c及之后版本的数据库新特性,用于承载多个可插拔数据库PDB(Pluggable Database)。使用限制 当前数据集成同步数据时,仅支持UTF8、AL32UTF8、AL16UTF16及ZHS16GBK编码格式。Oracle单...
支持的版本 离线读写 ApsaraDB For OceanBase Reader和ApsaraDB For OceanBase Writer通过OceanBase数据库驱动访问ApsaraDB For OceanBase,您需要确认驱动和您的ApsaraDB For OceanBase服务之间的兼容能力。数据库驱动使用如下版本。...
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
您需要在配置集成任务前,配置好您需要集成的数据源和目标数据库,以便在开发配置离线集成脚本过程中读取和写入数据库。离线管道支持的数据源详情,请参见 离线集成支持的数据源。步骤一:创建离线脚本 在Dataphin首页,单击顶部菜单栏的 ...
使用限制 DataWorks的数据集成功能仅支持离线写入 云数据库 SelectDB 版。不支持写入BITMAP、HLL(HyperLogLog)和QUANTILE_STATE类型的字段。数据同步任务开发 新增数据源 在进行数据同步任务开发时,您需要在DataWorks上分别创建MySQL和...
您需要在配置集成任务前,配置好您需要集成的数据源和目标数据库,以便在配置离线单条管道过程中,为您的开发组件选择数据源来控制集成任务的读取和写入数据库。离线管道支持的数据源详情请参见:支持的数据源。步骤一:创建离线单条管道 ...
前提条件 已新增离线数据同步任务,具体操作,请参见 新增离线数据同步任务、批量新增离线数据同步任务。操作步骤 登录企业数据智能平台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择目标工作组,单击 资产加工。...
前提条件 已上线离线数据同步任务,具体操作,请参见 上线离线数据同步任务。操作步骤 登录企业数据智能平台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择目标工作组,单击 资产加工。在左侧导航栏,单击 图标,将...
前提条件 已新增离线数据同步任务,具体操作,请参见 新增离线数据同步任务、批量新增离线数据同步任务。操作步骤 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择目标工作组,单击 资产加工...
离线同步实例是由离线数据同步时发起的任务实例,运维监控支持查看离线同步任务实例的详情,包括实例属性、运行日志。本文主要介绍查看离线同步实例的详情。前提条件 已上线离线同步任务,具体操作,请参见 上线离线数据同步任务。操作步骤...
前提条件 已上线离线数据同步任务,具体操作,请参见 上线离线数据同步任务。操作步骤 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择目标工作组,单击 资产加工。在左侧导航栏,单击 图标...
离线同步实例是由离线数据同步时发起的任务实例,运维监控支持查看离线同步任务实例的详情,包括实例属性、运行日志。本文主要介绍查看离线同步实例的详情。前提条件 已上线离线同步任务,具体操作,请参见 上线离线数据同步任务。操作步骤...
Mongo Shell是MongoDB自带的数据库管理工具,您可以将Mongo Shell工具下载并安装至客户端(本地服务器或ECS服务器),用于连接云数据库MongoDB单节点实例。本文介绍通过Mongo Shell连接云数据库MongoDB单节点实例的方法。前提条件 已创建云...
通过选择已注册的数据源端数据和目标端,实现全量任务自动建表的方式创建离线同步周期任务,本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组,具体操作,请参见 新建工作组。已在工作组中...
Mongo Shell是MongoDB自带的数据库管理工具,您可以下载Mongo Shell工具并安装至客户端(本地服务器或ECS服务器),用于连接云数据库MongoDB副本集实例。前提条件 已创建云数据库MongoDB副本集实例,创建方法请参见 创建副本集实例。背景...
} }/*数据库更新时的回调函数*@param database 数据库*@param connectionSource 连接*@param oldVersion 旧数据库版本*@param newVersion 新数据库版本*/Override public void onUpgrade(MPSQLiteDatabase database,ConnectionSource ...
除了DTS,您也可以使用其他工具迁移数据库,本文以本地SQL Server数据库到阿里云云数据库SQL Server 2012的数据全量迁移为例,介绍了如何通过使用SQL Server Management Studio(SSMS)和大容量复制程序实用工具(BCP)来迁移SQL Server...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态(项目状态为 失败、已暂停 或 已完成),受增量日志保留时长等影响,项目可能无法恢复。数据传输将主动...
支持同步的操作 同步类型 说明 增量同步 支持同步的增量更新如下:CREATE COLLECTION、INDEX DROP DATABASE、COLLECTION、INDEX RENAME COLLECTION 数据库账号的权限要求 数据库 所需权限 创建及授权方式 源 云数据库MongoDB版 待同步库、...
DMS支持PostgreSQL的数据库(Database)管理与模式(Schema)管理。登录 数据管理DMS 5.0。在DMS左侧的实例列表中,右键单击目标实例,从弹出的列表中选择 数据库管理。若您需要管理模式,请在DMS左侧的实例列表中展开目标实例,右键单击...
离线模板支持 创建不同的版本,创建离线任务时可基于 离线模板 不同的版本进行创建。本文为您介绍如何查看及管理离线模板历史版本。离线模板历史版本 入口 请参见 数据开发入口,进入数据 开发 页面。在数据 开发 页面,按照下图操作指引,...
本文为您介绍如何创建和删除 PolarDB PostgreSQL版 数据库。创建数据库 登录 PolarDB控制台。在控制台左上角,选择地域。单击目标集群ID。在左侧导航栏中,选择 配置与管理>数据库管理。单击 创建数据库。在 创建数据库 对话框中,设置以下...
支持审计10个数据库实例 12,000元/月 144,000元/年 企业版 吞吐量峰值:30,000条SQL/秒 800万/小时入库速率 10亿条在线SQL语句存储 350亿条归档SQL语句存储 支持审计25个数据库实例 20,000元/月 240,000元/年 说明 可以通过需要使用的数据...
问题描述 在RDS SQL Server实例中删除数据库时,会出现以下场景的报错:如果数据库没有会话,对于RDS SQL Server 2008、2012和2016版,是用镜像做的主备同步,直接使用 drop database SQL语句删除数据库会存在以下报错。The database 'XX' ...
开源rds_dbsync的pgsql2pgsql是一个用于迁移PostgreSQL数据库的工具,常用于数据库备份、迁移、复制和同步等操作,可实现PostgreSQL、PPAS、Greenplum Database、AnalyticDB PostgreSQL版 数据库间相互迁移。pgsql2pgsql支持的功能 pgsql2...
云数据库MongoDB版支持的数据库版本为7.0、6.0、5.0、4.4、4.2、4.0和3.4。建议使用对应数据库版本的客户端来访问,您可以从 官网 下载各语言的客户端。说明 各版本区别请参见 版本及存储引擎。如何查看MongoDB实例使用的数据库版本 通过...
智能运维基线及限流 版本 基线 限流 智能研发版(离线&实时)、基础研发版(离线&实时)3条(系统免费提供)1条(系统免费提供)10条 10条 100条 20条 敏捷研发版(离线)暂不支持 数据标准 版本 管控项 智能研发版(离线&实时)、基础研发...
升级指定云数据库SelectDB版实例的数据库版本。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略...
本文介绍如何使用数据传输服务DTS(Data Transmission Service),将自建的Db2数据库迁移至RDS MySQL。DTS支持结构迁移、全量数据迁移以及增量数据迁移,同时使用这三种迁移类型可以实现在自建应用不停服的情况下,平滑地完成Db2数据库的...
本文为旧版DTS控制台操作步骤,新版DTS迁移上云方法如下:单节点架构上云:云数据库MongoDB版(单节点架构)全量迁移至云数据库MongoDB版(所有架构)副本集架构上云:云数据库MongoDB版(副本集架构)迁移至云数据库MongoDB版(副本集架构...
使用MongoDB数据库自带的备份还原工具,您可以将Azure Cosmos DB API for MongoDB迁移至阿里云。注意事项 该操作为全量迁移,为避免迁移前后数据不一致,迁移开始前请停止数据库写入。如果您之前使用 mongodump 命令对数据库进行过备份操作...
本文将介绍PolarDB分布式版数据库 PolarDB-X 1.0,帮助您快速了解 PolarDB-X 1.0 的产品特点。产品简介 PolarDB-X 1.0 是由阿里巴巴自主研发的PolarDB分布式版数据库,融合分布式SQL引擎与分布式自研存储X-DB,基于云原生一体化架构设计,...
本文介绍如何使用数据传输服务DTS(Data Transmission Service),将自建的Db2数据库迁移至RDS MySQL。DTS支持结构迁移、全量数据迁移以及增量数据迁移,同时使用这三种迁移类型可以实现在自建应用不停服的情况下,平滑地完成Db2数据库的...
本文为旧版DTS迁移操作界面,新版DTS迁移步骤,请参见 自建数据库MongoDB版(分片集群架构)迁移至云数据库MongoDB版(分片集群架构)。迁移原理介绍 DTS通过迁移分片集群中的每个Shard节点来实现分片集群数据库的整体迁移,您需要为每个...
如果源或目标数据库是阿里云数据库实例(例如 RDS MySQL、云数据库MongoDB版 等),DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中;如果源或目标数据库是ECS上的自建数据库,DTS会自动将对应地区DTS服务的IP地址添...
在使用Mongo Shell连接数据库时,您可以启用SSL(Secure Sockets Layer)加密功能提高数据链路的安全性。通过SSL加密功能可以在传输层对网络连接进行加密,在提升通信数据安全性的同时,保障数据的完整性。前提条件 实例类型为副本集实例,...
整库迁移 适用于将本地数据中心或在ECS上自建的数据库,同步数据至离线数仓(Hive)、大数据计算服务等场景。例如,将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 ...
AnalyticDB PostgreSQL版基于开源数据库Greenplum构建,兼容Greenplum和PostgreSQL的语法、接口和生态。本文介绍如何通过FineBI连接AnalyticDB PostgreSQL版。前提条件 下载并安装FineBI。已创建AnalyticDB PostgreSQL版。已在AnalyticDB ...