在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute等数据仓库，也支持对接企业传统数据库，如MySQL、Oracle等...
功能特性 不限制来源表和目标表数据库类型。支持字段映射，包含修改源表和目标表字段的命名和类型映射。可配置并发迁移数据。支持通过WHERE语句，对迁移数据进行预过滤。支持前置及后置SQL语句，在导入数据前后实现数据处理。使用限制 系统...
背景信息 数据库自治服务DAS（Database Autonomy Service），是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务，帮助用户消除数据库管理的复杂性及人工操作引发的服务故障，有效保障数据库服务的...
本文介绍如何为 云数据库 SelectDB 版 实例创建 数据库并写入数据。前提条件 已通过 MySQL协议连接 云数据库 SelectDB 版 实例。具体操作，请参见 连接实例。注意事项 每个 云数据库 SelectDB 版 实例最多可以创建256个数据库。云数据库 ...
如果离线计算任务运行失败，可通过重新调度对应时间周期的任务，补充节点数据。任务中心支持在任务流、节点任务和离线计算任务中补数据。本文以在任务流和离线计算任务中补数据为例，介绍如何新建补数据计划。在任务流中新建补数据计划 ...
errorCode=65541,errorName=NO_NODES_AVAILABLE,errorType=INTERNAL_ERROR,errorLocation=null,failureInfo=mpp.client.FailureInfo@13887b2e} 一般是数据库内部某个计算节点压力较大导致该节点暂时离线，系统能够自动修复。请用户过5~10...
云数据库Cassandra可以很容易添加新的数据中心，不同的数据中心可以设定不同的副本数，既可以作为跨数据中心多活高可用，也可以作备份容灾或离线分析使用。业务灵活多变 云数据库Cassandra的数据模型灵活，对表结构的变更是一个非常轻量级...
在数据库性能限制的情况下，同步速度并非越快越好，考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成支持了限速选项，您可根据业务合理配置该值。详情请参见：限制同步速度。数据同步速度的影响因素 数据同步速度受来源与...
为保障数据的高可用，运行标签离线服务时，系统会将数据写入临时表（{目标表}_dpfx_b）；写入完成后，将原目标表进行重命名（{目标表}_dpfx_tmp），目标表重命名后将临时表重命名为目标表；最后删除原目标表（{目标表}_dpfx_tmp）。在重...
目标端为 MySQL 数据库、OceanBase 数据库 MySQL 租户等数据库类型时，需要对源端待迁移数据库及 oceanbase 数据库具备 SELECT 权限。重要 仅 OceanBase 数据库 V4.0.0 及之后版本需要添加 oceanbase 数据库的 SELECT 权限。对于 VPC 内 ...
离线视图是通过指标映射创建离线标签的前提条件。可以选择表映射、SQL加工以及表单加工的方式对离线视图进行定义。并通过预定义加工的方式，以便后续的离线标签创建。功能概述 您可根据业务需求创建所需的离线视图。离线视图的加工方式不同...
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
Dataphin数据集成的离线管道功能为您提供可视化组件的开发方式。创建离线管道脚本后，您可以通过多样性的组件库拖拽所需模块进行开发。...完成后，RDBMS类型数据库可直接在默认组件中选取，非RDBMS类型数据库需自行上传自定义读写插件。
组件名称 组件配置 限速 配置限速流程组件 条件分发 配置条件分发流程组件 自定义组件 如需使用自定义组件，请先创建 离线自定义源类型，完成后，RDBMS类型数据库可直接在默认组件中选取，非RDBMS类型数据库需自行上传自定义读写插件。
当您使用云数据库RDS MySQL并需要提升数据处理速率和降低访问延迟时，阿里云为您提供了缓存数据持久化的高效方案，该解决方案通过整合云数据库Redis与RDS、云数据库Memcache与RDS协同工作，确保数据的高速访问和持久化存储，具备高吞吐、低...
在您完成离线标签的创建或行为关系的定义后，您可为所创建的离线标签或行为关系创建对应的离线标签，以便后续的资产应用创建。如标签服务、画像服务的创建。功能概述 您可根据业务需求创建所需的离线标签，离线标签的加工方式不同创建过程...
您也可以通过空间分析功能查询 云数据库 MongoDB 版 实例的空间概况、空间变化趋势、异常列表、数据空间以及回收空间碎片。具体操作，请参见 空间分析。前提条件 实例的存储引擎为WiredTiger。背景信息 执行 db.runCommand({collStats:...
本文介绍数据库自治服务DAS（Database Autonomy Service）的SQL优化技术。背景信息 作为数据库管理员或应用开发者，都有过SQL优化经历。数据库上执行的SQL千差万别，且伴随着业务快速迭代、数据分布特征变化、热点变化、数据库版本升级等...
指定的参数PageNumber无效 400 Database.ConnectError db instance%s connect failed,please check instance status and database processlist db实例%s 连接失败，请检查实例状态和数据库进程列表 404 InvalidDBCluster.NotFound The ...
MongoDB的数据准备如下：{"id":ObjectId("624573dd7c0e2eea4cc8*"),"title":"MongoDB教程","description":"MongoDB是一个NoSQL数据库","by":"菜鸟教程","url":"http://www.runoob.com","map":{"a":"mapa","b":"mapb"},"likes":100 } ...
指定的参数PageNumber无效 400 Database.ConnectError db instance%s connect failed,please check instance status and database processlist 数据库实例连接失败，请检查实例状态和数据库进程列表 404 InvalidDBCluster.NotFound The ...
典型场景 数据仓库服务 您可以通过数据传输服务（DTS）或数据集成服务（DataX），将云数据库（例如RDS、PolarDB）或自建数据库批量同步到 云原生数据仓库AnalyticDB PostgreSQL版。云原生数据仓库PostgreSQL版支持对海量数据的复杂ETL进行...
数据同步支持离线数据同步任务的新建。离线数据同步任务支持的云计算资源类型为MySQL、Oracle、SQL Server、Hdfs、ftp、PostgreSQL、Hive、MaxCompute、AnalyticDB PostgreSQL、OSS。本文以同步MySQL数据源到MaxCompute目标端为例，介绍...
云数据库 MongoDB 版 的内存使用率是一个非常重要的监控指标。本文介绍查看 云数据库 MongoDB 版 实例内存使用率的方法，以及导致内存使用率高的原因和优化策略。背景信息 云数据库 MongoDB 版 进程启动后，不仅会加载二进制文件和依赖的...
云数据库Redis版 是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，支持主从、集群和读写分离架构。云数据库Redis版 从网络、存储、备份、容灾等方面，提供全面的安全加固功能来保障您的数据安全。包括但不限于：网络：白...
操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 IBM DB2输出配置 对话框。在 IBM DB2输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前组件的使用...
操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 IBM DB2输出配置 对话框。在 IBM DB2输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前组件的使用...
当需要查询分散在不同数据库中的数据时，您可以使用 云原生数据仓库 AnalyticDB PostgreSQL 版 的跨库查询功能方便地将数据聚合在一起，进行高效查询，提高数据访问效率。功能介绍 Database是PostgreSQL生态下数据库的最高级别，同一个实例...
该接口用于在RDS SQL Server实例间复制数据库。接口说明 适用引擎 RDS SQL Server 相关功能文档 注意 使用该接口前，请仔细阅读功能文档，确保完全了解使用接口的前提条件及使用后造成的影响后，再进行操作。RDS SQL Server 实例间数据库...
该接口用于在RDS SQL Server实例间复制数据库。接口说明 适用引擎 RDS SQL Server 相关功能文档 注意 使用该接口前，请仔细阅读功能文档，确保完全了解使用接口的前提条件及使用后造成的影响后，再进行操作。RDS SQL Server 实例间数据库...
云数据库 SelectDB 版 支持通过Spark SelectDB Connector，利用Spark的分布式计算能力导入大批量数据。本文介绍使用Spark SelectDB Connector同步数据至 云数据库 SelectDB 版 的基本原理和使用方式。功能介绍 Spark SelectDB Connector是...
高速跨实例查询仅支持以下数据库内核版本：存储弹性模式7.0版：V7.0.1.x及以上版本。存储弹性模式6.0版：V6.3.11.2及以上版本。Serverless模式：V1.0.6.x以及上版本。由于 AnalyticDB PostgreSQL 7.0版 实例的密码验证方式发生变化，...
云数据库 SelectDB 版 的权限管理系统借鉴了MySQL的权限管理机制，实现了表级别细粒度的权限控制，并支持基于角色的权限访问控制和白名单机制。本文介绍 云数据库 SelectDB 版 包含的权限管理系统的背景和具备的权限管理能力，及一些使用时...
云数据库 SelectDB 版 支持通过Doris Kafka连接器（Doris Kafka Connector）自动订阅和同步Kafka中的数据。本文介绍Doris Kafka Connector同步数据至 云数据库 SelectDB 版 的使用方式。背景信息 Kafka Connect是一款在Apache Kafka和其他...
本文介绍 云数据库 SelectDB 版 在数据存储方面的关键设计和特性，帮助客户充分发挥SelectDB的潜力。表 在云数据库SelectDB中，表（Table）是存储结构化数据的一种特殊形式。一张表由行（Row）和列（Column）组成，其中行表示一行数据，列...
创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认写入该数据库，您无法删除default数据库。时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间...
使用限制 开启SQL防火墙功能后，Proxy会在您当前的集群中创建一个数据库 database:proxy_auditing 和两张表，其中，sql_list 表用于保存黑白名单规则中的参数化SQL语句，org_sql_list 表用于保存黑名单规则中具体的SQL语句。且每张表最多...
您可以在使用前了解 云数据库 Redis 版 的基本概念，从而更好地理解与使用 Redis 数据库。概念 说明 实例ID 每个实例对应一个用户空间，实例是使用 云数据库Redis版 的基本单位。Redis 对单个实例根据不同的容量规格有不同的连接数、带宽、...
迁移数据的方法如下：云数据库MongoDB版（单节点架构）全量迁移至云数据库MongoDB版（所有架构）云数据库MongoDB版（副本集架构）迁移至云数据库MongoDB版（副本集架构或分片集群架构）自建数据库MongoDB版（分片集群架构）迁移至云数据库...