如果云原生数据仓库AnalyticDB MySQL版的主键沿用 PolarDB-X 的主键，就可能出现冲突，此时建议将云原生数据仓库AnalyticDB MySQL版的主键设为 PolarDB-X 端表的主键列和所有拆分键的集合。唯一键 与主键类似，在 PolarDB-X 中，唯一键分为...
其中，stat.key 为本段时间内的统计关键字集合，统计关键字集合唯一确定一组统计数据，包含 method、local.app 和 request.url 字段。日志样例如下：{"time":"2019-09-03 10:34:04.129","stat.key":{"method":"GET","local.app":...
Log4j Apache Log4j，即 log for Java（Java 的日志），是 Apache 的一个开源项目，可以控制日志信息输送的目的地，也可以控制每一条日志的输出格式，通过定义每一条日志信息的级别，能够更加细致地控制日志的生成过程。Log4j 2 Log4j 2 是...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的集合，分批配置多个任务，或者配置整库的同步任务。需开启Oplog日志。说明 DTS要求源数据库的Oplog日志至少保留7天以上，否则DTS可能因无法获取Oplog日志而导致任务失败...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的集合，分批配置多个任务，或者配置整库的迁移任务。源库的操作限制：在结构迁移和全量迁移阶段，请勿执行库或集合的结构变更，否则数据迁移任务会失败。由于该迁移任务不...
可以分成以下两种场景处理：场景 拆分方案 注意事项 集合（collections）分布在多个库（databases）中 如果库之间的业务相互关联性并不大（例如多个应用或服务共享使用同一个数据库实例），可以通过 云数据库MongoDB版（副本集架构）迁移至...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的集合，分批配置多个任务，或者配置整库的迁移任务。若源MongoDB为分片集群实例，则源Mongos节点的数量不能超过10个。如需进行增量迁移，Oplog日志：需开启，否则预检查...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的集合，分批配置多个任务，或者配置整库的同步任务。若源MongoDB为分片集群实例，则源Mongos节点的数量不能超过10个。需开启Oplog日志，否则预检查阶段提示报错，且无法...
split(x,delimeter,limit)通过指定的分隔符拆分字符串并使用 limit 限制字符串拆分的个数，然后返回拆分后的子串集合。split_part函数 split_part(x,delimeter,part)使用指定的分隔符拆分字符串，并返回指定位置的内容。split_to_map函数 ...
yum install java-1.8.0-openjdk-y 使用Keytool工具将拆分后的CA证书导入至$JAVA_HOME/jre/lib/security/cacerts。导入文件1（rootca.pem）keytool-importcert-alias PrivateKmsCA_RootCA-keystore$JAVA_HOME/jre/lib/security/cacerts-...
专属KMS SDK for Java帮助您通过简单的编程访问专属KMS的API，实现加密解密、签名验签和获取凭据信息的业务诉求。本文介绍如何初始化SDK以及如何调用接口进行加密解密、签名验签和获取凭据信息。背景信息 您可以访问 开源代码仓库，查看SDK...
Java 规约扫描是阿里巴巴多年经验提炼的 Java规范-包含 7大类 Java 代码规则 命名规约 注释规范 集合 OOP 规约 并发处理 控制语句 其他。如果未做扫描配置，默认会对所有规则进行扫描，也可以在规约扫描组件配置。
专属KMS SDK for Java帮助您通过简单的编程访问专属KMS的API，实现加密解密、签名验签和获取凭据信息的业务诉求。本文介绍如何初始化SDK以及如何调用接口进行加密解密、签名验签和获取凭据信息。背景信息 您可以访问 开源代码仓库，查看SDK...
什么是Java开发环境 Java开发环境是指可以进行Java程序开发的一组配置和工具的集合。它包含了JDK、IDE（集成开发环境，如IntelliJ IDEA、Eclipse、VSCode）、构建工具（如Maven）等。安装JDK 具体安装步骤，请参见 在Windows安装JDK。安装 ...
概况 这里的SDK只给出了方案开发必须的最小集合，例如：方案执行的入口XXXSolution.java 方案执行的上下文XXXContext.java 方案执行的结果XXXResult.java 方案生命周期配置LifeCycleConfig.java 常用的Java类 lombok,commons-lang等 那么...
拆分阶段：对数据进行分片，不限制拆分层数，将拆分结果上报给服务端，由服务端根据拆分的 chunk（一批待处理数据的索引集合）通知客户端来拉取数据进行处理。执行阶段：客户端接收到通知后拉取数据进行处理，处理完后继续拉取新的数据，...
自定义规则集 用户可以从 Github 获取默认的规则集合文件，并提交到代码仓库中。添加 Java 代码扫描如下所示：在任务配置中，勾选“使用自定义规则目录”选项，并制定自定义规则文件所在目录，如下图所示：保存并运行流水线即可使用代码库...
集群任务可以分成两个阶段：拆分阶段：对数据进行分片，不限制拆分层数，将拆分结果上报给服务端，由服务端根据拆分的 Chunk（一批待处理数据分片集合）通知客户端来拉取数据进行处理。执行阶段：客户端接收到通知后拉取数据进行处理，处理...
导入 java.util.Properties 类，是一个键值对的集合，用于加载和保存配置信息。可以从配置文件中加载数据库的连接信息。导入 org.apache.commons.pool2.ObjectPool 类，是一个对象池接口，定义了池化对象的基本操作，如获取、归还对象等。...
类型 示例 java.lang.String[]["Jack","Sam","Jason"]int[][100,200,300]java.util.Map[][{"color":"red"},{"color":"blue"},{"color":"white"}]java.util.List<java.lang.String>["Jack","Sam","Jason"]java.util.Set<java.lang.Integer>...
任务拓扑 Topology 由许多通过事件触发的任务的集合，描述了任务依赖关系。子任务可以并发执行或根据条件执行。任务编排 Topology management 将多个子任务根据业务逻辑编辑成拓扑任务的过程。任务分步 Step 一个简单任务可以拆分成多个...
本文介绍Java代码扫描与平台模型映射的特殊规则。Java类型与平台类型映射 说明 所有的映射通过插件上报都会在元数据中记录代码中的实际类型，再次生成代码时可以原样生成。但通过平台上报的类型可能会丢失真实的类型信息。基础类型、包装...
拆分阶段：对数据进行分片，不限制拆分层数，将拆分结果上报给服务端，由服务端根据拆分的 Chunk 通知客户端来拉取数据进行处理。（Chunk：一批待处理数据分片集合）执行阶段：客户端接收到通知后拉取数据进行处理，处理完后继续拉取新的...
本文为您介绍数据集拆分组件。功能说明 数据集拆分组件可以根据拆分比例对输入数据集做拆分处理，输出两个变量名称相同但数据量不同的数据集。可使用数据集拆分组件将数据集拆分为两份以适用于不同的场景。支持随机拆分和前后拆分两种方式...
拆分字段即分库/分表字段，是在水平拆分过程中用于生成拆分规则的数据表字段。数据访问代理会根据拆分字段的值将数据表水平拆分到每个物理库实例上的物理分库/分表中。拆分原则 数据表拆分的首要原则，就是要尽可能找到数据表中的数据在...
本文介绍了在 PolarDB-X 1.0 控制台上对数据表进行调整拆分键、关闭全表扫描和查看表结构的方法。前提条件 您需要先 连接到数据库 并 使用SQL语句创建表 后，才能在控制台上管理数据表。功能介绍 调整拆分键 拆分键即分库或分表的数据表字...
一、组件说明 在联邦学习任务中，数据拆分是将一份原始数据集分成训练集和测试集两个部分的过程。拆分数据集的目的是为了在训练模型时能够使用独立的数据集来评估模型的性能和泛化能力。训练集是模型用来学习的数据集，可以用于训练模型并...
本文将介绍如何在 PolarDB-X 1.0 中选择合适的拆分键。背景信息 拆分键即分库或分表字段，是水平拆分过程中用于生成拆分规则的数据表字段。PolarDB-X 1.0 将拆分键值通过拆分函数计算得到一个计算结果，然后根据这个结果将数据分拆到 私有...
PolarDB-X 新增支持变更表的类型（即在单表、拆分表和广播表三者间进行相互转换），和变更拆分表的拆分规则（包括拆分函数或拆分列）。本文介绍相关语法和示例，本语法仅适用于DRDS模式数据库。前提条件 仅内核小版本为5.4.8或以上的 ...
您可以将一张预留实例券拆分为数张计算力更小的预留实例券，匹配相应规格的按量付费实例，应对业务量的分流。为便于描述，待拆分的预留实例券称为原券，拆分后得到的预留实例券称为目标券。前提条件 原券处于 已生效 状态。不存在处理中的...
拆分方式 在 PolarDB-X 1.0 中，一张逻辑表的拆分方式由拆分函数（包括分片数目与路由算法）与拆分键（包括拆分键的 MySQL 数据类型）共同定义。只有当 PolarDB-X 1.0 使用了相同的拆分函数和拆分键时，才会被认为分库与分表使用了相同的...
本文为您介绍 Designer 提供的拆分算法。拆分是对数据进行随机拆分，用于生成训练和测试集。组件配置 您可以使用以下任意一种方式，配置拆分组件参数。方式一：可视化方式 在 Designer 工作流页面配置组件参数。页签 参数 描述 参数设置 ...
MyBase MySQL数据库代理的事务拆分功能，能够将事务内写操作之前的读请求转发到只读实例，降低主实例负载。前提条件 已开通数据库代理服务。具体操作，请参见 开通并配置数据库代理服务。背景信息 默认情况下，MyBase数据库代理会将事务内...
RDS MySQL的数据库代理提供事务拆分功能，该功能在保证业务中读写一致性的前提下，能够将事务内第一个写请求之前的读请求转发到只读实例，降低主实例负载。本文介绍如何设置事务拆分。前提条件 已开通数据库代理 背景信息 默认情况下，RDS ...
本文将为您介绍 PolarDB PostgreSQL版 集群事务拆分的功能原理以及如何开启事务拆分。背景信息 当您使用 PolarDB PostgreSQL版 可读可写模式集群地址时，读写请求会由代理（Proxy）分发到主节点和只读节点。为了保证一个会话连接中事务读写...
本文将为您介绍 PolarDB PostgreSQL版（兼容Oracle）集群事务拆分的功能原理以及如何开启事务拆分。背景信息 当您使用 PolarDB PostgreSQL版（兼容Oracle）可读可写模式集群地址时，读写请求会由代理（Proxy）分发到主节点和只读节点。为了...
数据库访问代理在后端将数据量较大的数据表水平拆分到各个 RDS 数据库中，后端的这些 RDS 数据库被称为分库，分库中的表被称为分表。拆分后，每个分库负责一份数据的读写操作，从而有效的分散了整体访问压力。在系统扩容时，只需要水平增加...
当您使用Elasticsearch集群出现索引分片设置不合理（例如索引主分片设置不合理、每个分片存在大量数据等）引发集群性能问题时，可通过_split API在线扩大主分片数，将现有索引拆分为具有更多主分片的索引。本文介绍如何通过_split API快速...
如果您的业务框架将所有请求都封装到非自动提交的事务中，导致主实例负载过大，您可以开通RDS PostgreSQL的数据库代理功能，该功能默认支持事务拆分，能够在保证业务中读写一致性的前提下，将事务内写操作发生之前的读请求转发到只读实例，...
常见分库分表问题列表：分库分表是否支持多个拆分字段 分库分表是否支持跨库 JOIN 分库分表对拆分库表的数量是否有限制 分库分表是否支持多个拆分字段 数据访问代理分库分表功能支持多个拆分字段，但是如果配置了拆分字段，后续执行 SQL 均...