本文介绍路由算法的定义、使用场景等内容。定义 路由算法是减少路由时开销的一种算法，可以通过给逻辑库配置路由算法，实现...使用场景 分表数据查询 分表数据变更 分表数据导出 配置说明 您可通过目标逻辑库找到对应的逻辑表，修改路由算法。
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高...在一些需要应用大量数据对用户行为进行分析的场景中，可以通过整合多种数据来源，存储用户行为数据，构建用户画像，实时存储在Cassandra中，提供大数据风控、推荐等服务。
模拟生成数据量 指定需要生成的数据量。默认值：1000 条数据，最多生成不超过 100W 行数据，所以用户可以在文本框中输入 1\~1000000 间的任意正整数。批处理大小 指定每生成多少条数据进行一次提交（COMMIT 命令）操作。默认每生成 200 条...
需要将大量数据导入至一个 AnalyticDB MySQL 二级分区表的多个二级分区时，可以提交弹性导入任务，并设置 adb.load.job.max.acu 参数增大单个弹性任务使用的最多资源，提高任务执行并发度。说明 adb.load.job.max.acu 参数的默认值为 集群...
如果数据库分片集群是分库分表模式，则所有数据库分表都需要配置分库分表规则，如果数据库分片中只有单表，分库分表规则可以直接配置 0 即可。在如下配置中，single_table 会路由到 group_00 分片：使用限制 仅支持 DML 语句（INSERT、...
对于宽表中的全量数据，需要手动执行全量构建索引才可以完成数据同步。本文介绍通过构建索引完成全量数据同步。前提条件 已安装Java环境，要求安装JDK 1.8及以上版本。已通过开源客户端访问搜索索引并完成宽表和索引表的列映射配置文件，...
若您的业务每日需要导出大量数据行，可将实例的管控模式变更为安全协同。具体操作，请参见 变更管控模式。若业务需求发生变更且工单已提交审批，无论是否通过审批，都可在 工单详情 页面，单击右上角的 关闭工单，以减少数据流出。操作步骤...
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
您可以根据实际上传速度和时间估算能够上传的数据量。记录大小不能超过200 MB。Tunnel Upload默认会使用压缩，如果带宽允许的情况下，可以通过-cp 参数关闭压缩。同一个表或分区是否可以并行上传数据？可以并行上传。是否支持多个客户端...
当存储即将出现溢出时，集群的存储空间可自动进行扩容，保障线上业务的稳定性，主要适用于业务数据量比较大，或者业务量波动较大且频繁的场景。设置存储自动扩容 访问地址优化 支持多机房部署方案添加两个访问地址。当访问地址为 2 个时，...
DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，甚至导致数据...
DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，甚至导致数据...
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
若源库数据需要全量同步，目标数据库的存储空间需大于源数据库占用的存储空间。注意事项 说明 在库表结构同步过程中，DTS会将源数据库中的外键同步到目标数据库。在全量同步和增量同步过程中，DTS会以Session级别暂时禁用约束检查以及外...
若源库数据需要全量同步，目标数据库的存储空间需大于源数据库占用的存储空间。注意事项 说明 在库表结构同步过程中，DTS会将源数据库中的外键同步到目标数据库。在全量同步和增量同步过程中，DTS会以Session级别暂时禁用约束检查以及外...
若源库数据需要全量同步，目标数据库的存储空间需大于源数据库占用的存储空间。注意事项 说明 在库表结构同步过程中，DTS会将源数据库中的外键同步到目标数据库。在全量同步和增量同步过程中，DTS会以Session级别暂时禁用约束检查以及外...
若源库数据需要全量同步，目标数据库的存储空间需大于源数据库占用的存储空间。注意事项 说明 DTS不会将源数据库中的外键同步到目标数据库，因此源数据库的级联、删除等操作不会同步到目标数据库。类型 说明 源库限制 带宽要求：源库所属的...
DataWorks支持通过向导模式或脚本模式配置离线同步任务，您可以将分库分表数据同步至目标单表。本文以同步MySQL分库分表数据为例进行说明。前提条件 已准备好要同步的多个数据源，详情请参见 支持的数据源与读写插件。背景信息 分库分表...
在保证常用数据访问性能不下降的基础上，混合存储型能够大幅度降低用户成本，实现性能与成本的平衡，同时使单个Redis实例的数据量不再受内存大小的限制。内存数据：内存中存放了热数据的Key和Value，同时为快速确认要操作的Key是否存在，...
通常情况下，查询备份数据需要先把数据恢复到新实例，并进行初始化数据库、拷贝备份、恢复数据等步骤，费时费力。本文将介绍如何在不恢复数据的情况下，即时查询备份数据。前提条件 已创建并配置逻辑备份类型的DBS备份计划。具体操作，请...
目前Serverless模式每个计算节点都拥有相对应的最高存储容量，如果您需要进行缩容操作，请务必保证总数据量不能超过缩容后节点规模的最高存储容量和。例如您的计算节点规格为2C8G，该节点对应的最高存储容量为960 GB，您需要缩容至4个计算...
在业务运行中，经常会沉淀到大量数据到数据湖中这部分数据可能是没有像数据仓库一样经过严格的数据管理流程或沉淀规范明确的元数据信息。元数据抽取可以分析数据湖中特定格式的数据，并自动生成元数据信息，通过周期性或手动执行，实现数据...
规格与压缩格式 压缩后的数据量 耗时 恢复速度（相对于原始数据量）small（4线程）gzip 21.1 GB 320s 126 MB/s large（8线程）gzip 21.1 GB 161s 250 MB/s xlarge（16线程）gzip 21.1 GB 86s 468 MB/s small（4线程）lz4 31.1 GB 408s 99 ...
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文介绍全密态数据库的概念、应用场景和安全分级。什么...
阿里云数据库RDS MySQL基于阿里巴巴的MySQL源码分支，经过双11高并发、大数据量的考验，拥有优良的性能和吞吐量。此外，阿里云数据库MySQL版还拥有经过优化的 读写分离、数据库代理、智能调优 等高级功能。当前RDS MySQL支持5.5、5.6、5.7...
如果您想通过DLA对OSS和RDS中的数据进行关联分析，根据扫描的数据量，您需要支付的费用为：28+28+28=84 元。针对上述计费示例，您可以通过以下方式来节省DLA扫描费用。将1TB的CSV文件压缩为GZIP格式，压缩后的文件大小为0.4 TB。然后将GZIP...
同时，简单的 SET 或 GET 命令也会在Value过大时，消耗大量数据分片节点的性能资源。可通过 查询慢日志 功能查询数据分片节点的慢日志。业务侧需减少或禁止使用高消耗命令，如需禁用命令，可以在 参数设置 中配置#no_loose_disabled-...
同时，简单的 SET 或 GET 命令也会在Value过大时，消耗大量数据分片节点的性能资源。可通过 查询慢日志 功能查询数据分片节点的慢日志。业务侧需减少或禁止使用高消耗命令，如需禁用命令，可以在 参数设置 中配置#no_loose_disabled-...
具体表现为，在需要处理的数据量呈倍数增长时，事务执行不报错，且执行时间也呈线性增长。总结 无论是否开启事务，每条SQL语句自身携带的数据量受CN的参数 MAX_ALLOWED_PACKET 的限制，不能超过该值。对于每个事务，在每个分片上执行的语句...
影响速度的主要因素如下：全量备份数据大小：数据量越大恢复速度越慢。增量备份数据大小：数据量越大恢复速度越慢。是否存在大事务：Binlog中存在大事务会拖慢恢复速度。是否存在热点更新：Binlog中存在热点更新会拖慢恢复速度。是否存在外...
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
在线分析场景需要数据尽量在高性能存储介质上提高性能，离线场景需要数据尽量在低成本存储介质上降低存储成本。为满足不同场景需求，首先将一份全量数据存储在低成本高吞吐存储介质中，低成本离线处理场景直接读写低成本存储介质中的数据，...
什么是全密态数据库 全密态数据库是 达摩院数据库与存储实验室 与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何...
其他限制 全量数据初始化时将占用源库和目标库一定的读写资源，会导致数据库的负载上升，因此在执行数据同步前需评估源库和目标库的性能，建议在业务低峰期执行数据同步。全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，...
说明 在数据代理服务配置连接数据库时，DataV数据源配置连接数据代理服务，访问可视化应用的计算机，需要能够访问到数据代理服务才能正常看到数据。数据代理服务默认是HTTP的服务，在配置连接或者访问可视化应用时需要用HTTP打开DataV页面...
说明 在数据代理服务配置连接数据库时，DataV数据源配置连接数据代理服务，访问可视化应用的计算机，需要能够访问到数据代理服务才能正常看到数据。数据代理服务默认是HTTP的服务，在配置连接或者访问可视化应用时需要用HTTP打开DataV页面...
背景信息 当业务累积了大量数据时，需要定期清除表中的数据，或对在线数据和历史数据进行分隔管理。您可能会遇到以下问题：单条SQL影响行数过多，日志超过阈值导致任务执行失败。SQL没有使用索引导致锁表，数据库负载增加，甚至造成业务...