在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
对高吞吐写入场景和高性能跑批业务进行了设计优化，同时提供了弹性伸缩能力，适合业务数据量大、并具有典型的业务访问波峰波谷场景。在存储计算分离基础上，提供了数据共享功能，打破了物理机的边界，让云上的数据流动了起来。一存多读的...
DataWorks数据集成支持使用SelectDB ...否 无 flushInterval 数据写入批次的时间间隔（单位：ms），如果 maxBatchRows 和 batchSize 参数设置的很大，则可能还未达到设置的数据量大小，系统就会根据写入的时间间隔执行数据导入。否 30000
如果访问数据量大或访问频次过多，可能会导致费用高于标准存储费用，例如：一个月全量访问一次低频存储的表或分区产生的费用，将等于标准存储的费用。六个月全量访问一次长期存储的表或分区产生的费用，将等于标准存储的费用。长期存储 ...
批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，使得传统的集中式数据库，出现了单点瓶颈，垂直扩容成本非常高，几乎不可接受。OceanBase 数据库的 SQL 引擎在经过了近 ...
大Key和热Key的定义 名词 解释 大Key 通常以Key的大小和Key中成员的数量来综合判定，例如：Key本身的数据量过大：一个String类型的Key，它的值为5 MB。Key中的成员数过多：一个ZSET类型的Key，它的成员数量为10,000个。Key中成员的数据量过...
与数据大小的关系 备份大小可能比数据量大，也可能比数据量小。云盘实例采用快照备份。快照备份的大小可能远大于数据的大小。云盘实例备份免费额度为实例存储容量的200%，本地盘实例备份免费额度为实例存储容量的50%。说明 计算快照备份...
StarRocks提供了多种导入方式，您可以根据数据量大小或导入频率等要求选择最适合自己业务需求的导入方式。StarRocks导入方式与各数据源关系图如下。您可以根据不同的数据来源选择不同的导入方式：离线数据导入：如果数据源是Hive或HDFS，...
在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
小数据量的数据表建议配置小并发，小并发需要的执行资源比较少，有利于任务快速抢占碎片资源得到运行。由于数据量比较小执行耗时可以控制在合理的范围内。同一个数据源上同步任务，建议错峰运行，一方面可以均衡资源组的使用水位，另外也...
快照备份 快照备份在指定的备份周期中循环执行全量快照备份，相对于常规的物理备份方式，快照备份具有备份速度快、可支持的最大备份数据量大等优点。说明 快照备份是在云盘上对数据的快照进行定期备份，利用快照的特性可以快速地还原数据到...
Lindorm SearchIndex提供了最终一致性和强一致性两种语义，对于访问量大、数据延迟性要求不高的场景采用最终一致性，可以提供非常高的吞吐和可用性，而业务访问延迟敏感的业务可以选择强一致性模型，数据写入成功后，索引立即可查。...
若业务延迟较大，其可能原因如下：报错现象 直接原因 解决方案 读端延迟大 源端数据量变更过多。延迟突然增大，说明某一时间点源端数据量增加。若源端数据更新快，数据量多，但同步延迟大，您可以：修改任务配置：您可以在源端数据库最大...
智能化：运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，诸如数据异常访问和潜在的泄漏风险进行有效识别和监控，并提供修复建议。提供定制化的敏感数据识别能力，便于客户自定义识别标准，实现精准识别和高效防护。...
数据安全中心DSC（Data Security Center）通过内置的行为异常自学习模型和流转异常自学习模型，能够高效地分析审计日志，以识别与敏感数据相关的异常行为及攻击行为。当这些模型检测到潜在的风险活动时，会自动触发告警。支持的数据库 RDS...
相比现有基于大数据平台的历史数据离线分析方案，DBS沙箱功能提供原始数据库SQL接口，不需要开发人员编写离线分析脚本，并由于使用快照存储机制，存储成本也更低。费用说明 更多信息，请参见 DBS沙箱费用。后续步骤 自建MySQL应急恢复...
通过DataX导入数据 OSS Load 云数据库 SelectDB 版结合OSS对象存储提供了内网高速导入功能，且单次导入数据量可达百GB级别。本文介绍如何通过OSS Load导入数据至云数据库 SelectDB 版实例中。OSS Load Stream Load 本文介绍如何通过Stream ...
分层更高效，对Hive数仓进行热度/冷度统计 分层更高效，对Hive数仓进行热度/冷度统计 2021-07-27 传统的Hadoop集群中，没有对数据进行分层，导致数据量不断增加的同时，存储成本也在大幅增加，计算速度在不断下降。此时，您可以对集群中的...
在业务运行中，经常会沉淀到大量数据到数据湖中这部分数据可能是没有像数据仓库一样经过...全量抽取：抽取元数据时扫描全量数据文件，在数据规模比较大时，作业消耗时间长，抽取结果更准确。5.确认任务执行的相关参数，点击 保存并立即执行。
具体耗时与数据库的数据量大小等因素有关。说明 一级备份默认开启，无法关闭。一级备份保留时长最多可支持14天。一级备份物理空间大小如下图所示。说明 PolarDB 集群 一级备份物理空间大小（上图中①所示）：即所有一级备份独占的物理空间...
通过数据归档OSS功能，用户能够将低频访问、数据量大的表转储至OSS，并通过原生InnoDB的访问方式去读取冷表数据。数据归档DDL操作如下：归档 ALTER TABLE$table_name ENGINE_ATTRIBUTE='{"OSS":"Y"}';取回 ALTER TABLE$table_name ENGINE_...
您可以根据实际网络情况及数据量大小进行合理配置，减少不必要的网络开销。增量同步 仅当 方案选择 配置为 只增量一次性同步、周期性增量同步 或 全量一次性同步后周期增量 时，需要配置该参数。说明 您可以使用调度参数来指定同步源表及...
根据数据量和网络条件，迁移过程可能需要几个小时甚至几天的时间。这个漫长的过程可能会对您的业务产生很大的影响。DTS则可以帮助您以最小化的停机时间迁移您的数据。在数据迁移期间，您的应用程序仍可以保持运行状态。唯一的停机时间是当...
解决方案 数据归档概述 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建...
当存储即将出现溢出时，集群的存储空间可自动进行扩容，保障线上业务的稳定性，主要适用于业务数据量比较大，或者业务量波动较大且频繁的场景。设置存储自动扩容 访问地址优化 支持多机房部署方案添加两个访问地址。当访问地址为 2 个时，...
实例I/O过高时，容易影响查询性能。本文介绍查看I/O吞吐情况的方式以及如何排查I/O高...如果调整备份时间无法避免全量备份操作和业务的冲突，建议升级实例的磁盘性能等级，或者拆分数据，减少单个实例上的数据量，缩短全量备份所需的时间。
升级数据库大版本所用时间与数据库的数据量有关，请根据业务情况提前安排升级时间。升级数据库大版本后不支持降级数据库大版本。升级数据库大版本后，低版本的备份数据不能恢复至云数据库MongoDB实例。您可以下载备份文件，将低版本的备份...
为了获得更准确的备份和恢复性能，请参考最近一次全量备份的数据量和备份时间。在目标实例恢复全量备份 必须 200 GB/小时 无 在源实例进行增量事务日志备份 必须 200 GB/小时 进行增量日志备份前后，可能存在2分钟的额外损耗（例如备份准备...
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
解决方案 数据归档 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建工单...
数据归档 数据归档功能定时将大表的数据归档至其他数据库，支持源表数据删除、表空间整理回收等功能。数据库迁移 通过创建工单实现数据库迁移、校验和清理的闭环操作。运维管理 通知管理 可根据您的业务需求，订阅不同功能模块的消息事件，...
全量数据同步需要一定时间，耗时与数据量大小有关，在此期间，目标端状态为 创建中，请耐心等待。如果待升级的PolarDB集群是已有数据传输服务（DTS）的源集群或目标集群，则升级后需要将该DTS任务的源或目标集群修改为升级后的PolarDB集群...
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
迁移所需时间和网络、任务队列、数据量大小等多种因素有关，请在业务低峰期执行迁移可用区操作。迁移可用区过程中会有30秒闪断，请确保应用程序具有重连机制。迁移可用区会造成虚拟IP（VIP，如172.16.88.60）的变更。如果应用连接的是数据...
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...