介绍：SQL SQLML PyODPS MapReduce Mars Spark Graph 外部表 Java SDK Python SDK JDBC 实践：数据开发最佳实践 常见问题：错误码 SQL常见问题 PyODPS常见问题 MapReduce常见问题 Spark常见问题 外部表常见问题 Java SDK常见问题 Python ...
为保证用户创建并封装在数据服务中的API在被外部应用调用时，能达到高QPS以及满足可用性保障，企业需要使用独享数据服务资源以确保调用的高效和可靠。独享数据服务资源给用户提供了专属的计算资源和环境隔离，提升企业高并发接口处理效率，...
RDS MySQL提供分析实例功能，可以将RDS MySQL主实例中的数据自动同步到分析实例中，解决RDS MySQL复杂分析与查询时卡顿的问题，实现毫秒级针对万亿级数据进行即时的多维分析透视和业务探索...常见问题 MySQL分析实例使用限制 常见数据同步问题
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
在数据库出现故障时，您可以利用一键诊断功能，快速诊断选定时间段内数据库性能情况，直观地查看数据库性能情况的全貌，快速定位异常原因。前提条件 实例为如下版本：RDS MySQL 8.0 高可用系列或集群系列 RDS MySQL 5.7 高可用系列或集群...
在数据库出现故障时，您可以利用一键诊断功能，快速诊断选定时间段内数据库性能情况，直观地查看数据库性能情况的全貌，快速定位异常原因。前提条件 目标数据库引擎为：RDS MySQL MyBase MySQL 自建MySQL 目标数据库实例已经接入DAS，详情...
异地灾备与异地多活是全球数据库网络（Global Database Network，简称GDN）中两种典型的应用场景。本文介绍这两种典型场景的业务架构及部署流程。异地灾备 通过异地灾备实现跨地域高可用，提升数据安全性和系统可用性。当发生机房或数据...
通过审计日志，用户可以对数据库进行故障分析、行为分析等操作，有效的帮助您获取数据的执行情况。注意事项 审计日志需要通过SQL洞察功能查看。pgaudit 插件只提供过滤当前已有审计日志的功能。设置插件参数需要高权限账号。使用指南 安装...
通过审计日志，用户可以对数据库进行故障分析、行为分析等操作，有效的帮助您获取数据的执行情况。注意事项 审计日志需要通过SQL洞察功能查看。pgaudit 插件只提供过滤当前已有审计日志的功能。设置插件参数需要高权限账号。使用指南 安装...
通过审计日志，用户可以对数据库进行故障分析、行为分析等操作，有效的帮助您获取数据的执行情况。注意事项 审计日志需要通过SQL洞察功能查看。pgaudit 插件只提供过滤当前已有审计日志的功能。设置插件参数需要高权限账号。使用指南 安装...
数据库发生故障后，无法在发生故障时定位到原因，可以通过智能压测功能，在克隆库上复现故障场景，定位故障原因。功能架构 智能压测的功能架构如下图所示：源数据库：将要进行大促、将要业务变更或者已经发生故障，需要进行流量捕获的数据...
数据容灾是指在数据中心或服务器发生故障、灾难或意外情况时，能够保证数据的安全性和可用性的一系列措施和策略。数据容灾的目标是确保在不可避免的情况下，数据的完整性、可恢复性和可用性不受到严重影响，以保障业务的持续运行和数据的...
背景信息 物理备份：物理备份是指转储 OceanBase 的物理文件包含基线数据、日志归档数据等，一旦数据库发生故障，可以利用这些文件进行数据库恢复。逻辑备份：逻辑备份是指数据库对象级备份，支持表、库两种维度的备份。库级备份时，针对...
在出现故障（如网络中断、机房批量设备故障或互联网数据中心IDC故障），且DTS任务存在延迟的情况下，此时如更新至目标库的最后一条数据的时间与故障发生时的时间之差小于RPO（如5分钟），则可以业务优先恢复为准则切流。切流后可能有5分钟...
在出现故障（如网络中断、机房批量设备故障或互联网数据中心IDC故障），且DTS任务存在延迟的情况下，此时如更新至目标库的最后一条数据的时间与故障发生时的时间之差小于RPO（如5分钟），则可以业务优先恢复为准则切流。切流后可能有5分钟...
表示允许连接到任意数据库，会从所有配置的数据库中随机选择一个尝试连接，如果连接的数据库出现故障导致连接断开，会尝试连接其他数据库，从而实现故障转移。read-write：只会连接到支持读写的数据库，即从第一个数据库开始尝试连接，如果...
业务背景 在碳中和、碳达峰这样的大背景下，国家大力支持新能源汽车的推广使用，但同时监管部门也提出了相应的要求，需要实时存储车辆状态数据，进行故障告警及数据的实时查看。为了能及时响应车辆告警信息，排查车辆故障，需要实时能下载...
纯缓存应用 单副本集群版的分片服务器由单节点组成，分片服务器某节点出现故障时，系统会重新拉起一个Redis进程（没有数据），当节点故障业务自动切换完成后，数据将会丢失，有可能流量被冲击到后端数据库，需要做好应用程序的预热保护机制...
面对即将到来的短期业务高峰或数据库结构变更（尤其是索引变更）时，您可以通过智能压测功能，确认数据库实例规格是否需要扩容，并验证在真实业务场景下的实际效果，降低上线后引发故障的风险。此外，在数据库发生故障且无法定位原因时，...
面对即将到来的短期业务高峰或数据库结构变更（尤其是索引变更）时，您可以通过流量回访与压测功能，确认数据库实例规格是否需要扩容，并验证在真实业务场景下的实际效果，降低上线后引发故障的风险。此外，在数据库发生故障且无法定位原因...
通过审计日志，您可以对数据库进行故障分析、行为分析、安全审计等操作，有效帮助您获取数据的执行情况。具体操作方法请参见 查询审计日志。数据加密 SSL链路加密 通过公网连接数据库时，您可以启用SSL（Secure Sockets Layer）加密功能...
当数据库节点发生故障时，数据会丢失，系统会重新拉起一个Redis进程（没有数据），当节点故障业务自动切换完成后，应用程序需要将数据重新预热。单副本架构不支持以下功能：自动或手动备份、离线全量Key分析 和 实例回收站。若您对数据有...
时序异常检测 检测时间线上存在异常的数据点，有助于及时发现故障或问题。常用时序函数 在查询时序数据时常用的函数，包括聚合函数、选择函数、时间处理函数等。预计算类方言 CREATE CONTINUOUS QUERY 创建连续查询任务。DROP CONTINUOUS ...
特性 组复制 半同步复制 异步复制 数据可靠性★数据一致性 保证主备数据一致性 不保证 不保证 全局事务一致性 支持 不支持 不支持 数据 强 可靠性 组复制的数据强可靠性来源于Paxos协议的多数派原则，即当多数派收到事务的Binlog后，事务...
磁盘故障及其运维通常伴随着磁盘上的数据销毁。在进行磁盘运维时，您应考虑数据是否需要迁移备份。对于Kafka集群，您还需要考虑Topic分区副本数据是否可以从其他Broker节点分区副本同步恢复。本文以EMR Kafka 2.4.1版本为例，介绍Kafka磁盘...
场景四：故障>数据库故障 说明 部分数据库出现异常，将发生故障的主数据库切换到另一单元（地域）。a.选中想要切换的数据库，在展示框里，同一行代表同一数据库的主备。b.单击 下一步，进入 容灾切换预览，在预览页，可以看到数据库前后主...
在发生故障时，监控大屏可以快速反应故障情况，并提供相关数据，为故障排查及处理提供依据。风险预测：风险预测是指在发生故障前，通过数据分析、机器学习等方式，预测系统的风险情况，提前进行预防和处理。在故障应急响应中，风险预测可以...
当数据可用区故障时，系统可以自动切换到备用数据可用区，且数据0丢失。当日志可用区故障时，不影响业务正常运行。支持 支持 全球数据库GDN 全球数据库网络是由分布在全球不同地域（Region）内的多个数据库组成的一张网络。网络中所有 ...
使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置...
Apache Flume是一个分布式、可靠和高可用的系统，可以从大量不同的数据源有效地收集、聚合和移动日志数据，从而集中式的存储数据。使用场景 Flume使用最多的场景是日志收集，也可以通过定制Source来传输其他不同类型的数据。Flume最终会将...
本文介绍了冷数据归档功能的一些常见问题。冷数据归档任务如何调度？由于归档任务对CN节点的CPU、IO资源有较大的消耗，因此在归档执行时间窗口之外，未完成的归档任务将会被悬挂起来，确保不影响实例的正常业务。当归档执行时间结束时，未...
数据服务访问RDS实例情况说明 为了更好地保障用户通过DataWorks数据服务访问RDS实例的安全性，新增数据源 时，选择的数据源类型不同（实例模式、连接串模式），在DataWorks数据服务中封装API时将会有不同的提示和建议，详情如下：数据源...
故障切换类型 数据同步后切换 该故障切换会先停止保护组中被保护的实例，并且等到所有被保护的实例停止后再进行最后一轮数据同步，等待数据同步完成后再启动切换。这样可以保证容灾端与生产端数据完全一致，无数据丢失。该切换模式适用于...
故障切换类型 数据同步后切换 该故障切换会先停止保护组中被保护的实例，并且等到所有被保护的实例停止后再进行最后一轮数据同步，等待数据同步完成后再启动切换。这样可以保证容灾端与生产端数据完全一致，无数据丢失。该切换模式适用于...
故障切换类型 数据同步后切换 该故障切换会先停止保护组中被保护的实例，并且等到所有被保护的实例停止后再进行最后一轮数据同步，等待数据同步完成后再启动切换。这样可以保证容灾端与生产端数据完全一致，无数据丢失。该切换模式适用于...
DataWorks On CDP/CDH使用说明 数据服务支持实例模式的StarRocks数据源 开通E-MapReduce Serverless StarRocks集群后，您可在DataWorks中通过实例模式新增StarRocks数据源，DataWorks数据服务支持面向StarRocks数据源快速封装数据API，实现...
故障切换类型 数据同步后切换 该故障切换会先停止保护组中被保护的实例，并且等到所有被保护的实例停止后再进行最后一轮数据同步，等待数据同步完成后再启动切换。这样可以保证容灾端与生产端数据完全一致，无数据丢失。该切换模式适用于...
常见问题和故障处理 使用DBS时遇到的各类问题，例如需要修改备份源数据库、数据库恢复失败、如何备份RDS只读实例等，您可以在 常见问题 或 常见报错 内查找，可以解决您的绝大部分问题。说明 若在文档中未找到您遇到的异常或报错，或按照...
数据的备份和恢复 故障时流量转移可以很好地避免地域级别故障造成业务中断，但此时故障地域的数据服务也可能同样不可用。为了让业务在备地域的应用启用期间也能正常运转，您需要根据自身的业务设计合适的方案，在非故障期间将数据从主地域...
业务挑战 一致性，一致性是金融业务的生命线，为了应对硬件或者系统故障（IDC/OS/机器故障），传统的数据库在这方面为业务提供多种选择。最大可用模式在主库故障情况下可能造成数据丢失。最大保护模式会提高全年的不可用时间，并造成性能...